[논문 리뷰] The LASSO with Non-linear Measurements is Equivalent to One With Linear Measurements

Christos Thrampoulidis, Ehsan Abbasi외 1명|arXiv (Cornell University)|2015. 06. 06.

Fault Detection and Control Systems참고 문헌 25인용 수 89

한 줄 요약

이 논문은 비선형 측정을 갖는 일반화된 LASSO가 점점 커지는 경우 선형 측정을 갖는 LASSO와 渐近적으로 동일하다고 규명한다. 여기서 비선형성은 효과적인 선형 계수와 노이즈에 흠뻑 스며든다. 핵심 결과는 비선형 링크 함수 하에서의 추정 성능이 링크 함수의 통계적 성질로부터 유도된 스케일링된 신호 및 노이즈 파rameter를 갖는 선형 모델과 동일하다는 것이다. 1비트 압축 측정에서 최적의 양자화기는 Lloyd-Max 양자화기이다.

ABSTRACT

Consider estimating an unknown, but structured, signal $x_0\in R^n$ from $m$ measurement $y_i=g_i(a_i^Tx_0)$, where the $a_i$'s are the rows of a known measurement matrix $A$, and, $g$ is a (potentially unknown) nonlinear and random link-function. Such measurement functions could arise in applications where the measurement device has nonlinearities and uncertainties. It could also arise by design, e.g., $g_i(x)= ext{sign}(x+z_i)$, corresponds to noisy 1-bit quantized measurements. Motivated by the classical work of Brillinger, and more recent work of Plan and Vershynin, we estimate $x_0$ via solving the Generalized-LASSO for some regularization parameter $λ>0$ and some (typically non-smooth) convex structure-inducing regularizer function. While this approach seems to naively ignore the nonlinear function $g$, both Brillinger (in the non-constrained case) and Plan and Vershynin have shown that, when the entries of $A$ are iid standard normal, this is a good estimator of $x_0$ up to a constant of proportionality $μ$, which only depends on $g$. In this work, we considerably strengthen these results by obtaining explicit expressions for the squared error, for the \emph{regularized} LASSO, that are asymptotically \emph{precise} when $m$ and $n$ grow large. A main result is that the estimation performance of the Generalized LASSO with non-linear measurements is \emph{asymptotically the same} as one whose measurements are linear $y_i=μa_i^Tx_0 + σz_i$, with $μ= Eγg(γ)$ and $σ^2 = E(g(γ)-μγ)^2$, and, $γ$ standard normal. To the best of our knowledge, the derived expressions on the estimation performance are the first-known precise results in this context. One interesting consequence of our result is that the optimal quantizer of the measurements that minimizes the estimation error of the LASSO is the celebrated Lloyd-Max quantizer.

연구 동기 및 목표

• 측정값이 알려지지 않은 링크 함수에 의해 비선형적으로 변환될 때 일반화된 LASSO의 추정 성능을 이해하는 것.
• 선형 측정을 가정하는 일반화된 LASSO가 비선형 측정 모델 하에서도 여전히 효과적인가를 판단하는 것.
• 구조적 신호를 동반한 고차원 설정에서 추정 오차에 대한 정확한 점점 커지는 표현을 유도하는 것.
• LASSO 복원 오차를 최소화하는 1비트 압축 측정에 대한 최적의 양자화기를 규명하는 것.

제안 방법

• 저자들은 비선형 측정 모형 $ y_i = g_i(\mathbf{a}_i^T \mathbf{x}_0) $ 하에서 일반화된 LASSO 추정기를 분석한다. 여기서 $ g_i $ 는 서로 독립적이고 동일한 분포를 갖는 비선형 링크 함수이다.
• 무작위 표준 정규 측정 행렬 하에서 $ m, n \to \infty $ 일 때 추정 오차 $ \|\hat{\mathbf{x}} - \mu \mathbf{x}_0\|_2 $ 에 대한 점점 정확한 표현을 유도한다.
• 핵심 통찰은 비선형 측정 모형이 점점 커지는 경우, 신호 스케일링 $ \mu = \mathbb{E}[\gamma g(\gamma)] $ 과 효과적 노이즈 분산 $ \sigma^2 = \mathbb{E}[(g(\gamma) - \mu \gamma)^2] $ 을 갖는 선형 모형과 동일하다는 것이다. 여기서 $ \gamma \sim \mathcal{N}(0,1) $ 이다.
• 분석은 고차원 점점 커지는 통계 도구, 특히 약한 메시지 전달(AMP) 프레임워크와 볼록 정규 분포 최소-최대 정리(CGMT)를 활용한다.
• 저자들은 LASSO 복원 오차를 최소화하는 1비트 압축 측정에 대한 최적의 양자화기를 유도하기 위해 비율 $ \sigma^2 / \mu^2 $ 를 최소화한다. 그 결과로 Lloyd-Max 양자화기가 최적의 해로 도출된다.

실험 결과

연구 질문

• RQ1 일반화된 LASSO는 선형 모델을 가정하지만, 측정값이 비선형적으로 변환될 경우에도 여전히 효과적인가?
• RQ2 비선형 측정을 갖는 일반화된 LASSO의 추정 오차는 고차원 점점 커지는 설정에서 정확하게 기술될 수 있는가?
• RQ3 비선형 측정 모형과 점점 커지는 경우 동일한 선형 모형이 존재하는가? 이 모형은 효과적 신호 및 노이즈 파rameter를 갖는다.
• RQ4 LASSO 복원 오차를 최소화하는 1비트 압축 측정의 최적의 양자화기는 무엇인가?

주요 결과

• 비선형 측정을 갖는 일반화된 LASSO의 추정 오차는 점점 커지는 경우, 신호 스케일링 $ \mu = \mathbb{E}[\gamma g(\gamma)] $ 과 노이즈 분산 $ \sigma^2 = \mathbb{E}[(g(\gamma) - \mu \gamma)^2] $ 을 갖는 선형 모형의 추정 오차와 동일하다.
• 이러한 추정 오차 표현은 비선형 측정과 구조적 신호를 동반한 맥락에서 처음으로 알려진 정확한 점점 커지는 특성화이다.
• 1비트 양자화 측정의 경우, LASSO 복원 오차를 최소화하는 최적의 양자화기는 $ \sigma^2 / \mu^2 $ 비율을 최소화하는 Lloyd-Max 양자화기이다.
• 이 동등성은 i.i.d. 표준 정규 측정 행렬과 고차원 점점 커짐 설정에서 성립하며, 이 경우 $ m, n \to \infty $ 이고 $ m/n $ 이 고정되어 있다.