[論文レビュー] The LASSO with Non-linear Measurements is Equivalent to One With Linear Measurements

Christos Thrampoulidis, Ehsan Abbasi+1 more|arXiv (Cornell University)|Jun 6, 2015

Fault Detection and Control Systems参考文献 25被引用数 89

ひとこと要約

この論文は、非線形測定を持つ一般化LASSOが、非線形性が効果的線形係数およびノイズに吸収された線形測定を持つLASSOと漸近的に同等であることを確立している。主な結果は、非線形リンク関数下での推定性能が、リンク関数の統計的性質から導かれるスケーリングされた信号およびノイズパラメータを持つ線形モデルと同等であることを示しており、1ビット圧縮センシングにおける最適量子化器はLloyd-Max量子化器である。

ABSTRACT

Consider estimating an unknown, but structured, signal $x_0\in R^n$ from $m$ measurement $y_i=g_i(a_i^Tx_0)$, where the $a_i$'s are the rows of a known measurement matrix $A$, and, $g$ is a (potentially unknown) nonlinear and random link-function. Such measurement functions could arise in applications where the measurement device has nonlinearities and uncertainties. It could also arise by design, e.g., $g_i(x)= ext{sign}(x+z_i)$, corresponds to noisy 1-bit quantized measurements. Motivated by the classical work of Brillinger, and more recent work of Plan and Vershynin, we estimate $x_0$ via solving the Generalized-LASSO for some regularization parameter $λ>0$ and some (typically non-smooth) convex structure-inducing regularizer function. While this approach seems to naively ignore the nonlinear function $g$, both Brillinger (in the non-constrained case) and Plan and Vershynin have shown that, when the entries of $A$ are iid standard normal, this is a good estimator of $x_0$ up to a constant of proportionality $μ$, which only depends on $g$. In this work, we considerably strengthen these results by obtaining explicit expressions for the squared error, for the \emph{regularized} LASSO, that are asymptotically \emph{precise} when $m$ and $n$ grow large. A main result is that the estimation performance of the Generalized LASSO with non-linear measurements is \emph{asymptotically the same} as one whose measurements are linear $y_i=μa_i^Tx_0 + σz_i$, with $μ= Eγg(γ)$ and $σ^2 = E(g(γ)-μγ)^2$, and, $γ$ standard normal. To the best of our knowledge, the derived expressions on the estimation performance are the first-known precise results in this context. One interesting consequence of our result is that the optimal quantizer of the measurements that minimizes the estimation error of the LASSO is the celebrated Lloyd-Max quantizer.

研究の動機と目的

• 測定が未知のリンク関数によって非線形に変換される場合の一般化LASSOの推定性能を理解すること。
• 線形測定を仮定している一般化LASSOが、非線形測定モデル下でも有効に機能し続けるかどうかを特定すること。
• 構造化信号を伴う高次元設定における推定誤差の正確な漸近的表現を導出すること。
• LASSO再構成誤差を最小化する1ビット圧縮センシングの最適量子化器を同定すること。

提案手法

• 著者たちは、$ y_i = g_i(\mathbf{a}_i^T \mathbf{x}_0) $ の形をした非線形測定の下で一般化LASSO推定量を分析し、ここで $ g_i $ は同分布の非線形リンク関数である。
• ランダムなガウス測定行列を仮定し、$ m, n \to \infty $ の下で推定誤差 $ \|\hat{\mathbf{x}} - \mu \mathbf{x}_0\|_2 $ の漸近的正確な表現を導出する。
• 鍵となる洞察は、非線形測定モデルが、信号スケーリング $ \mu = \mathbb{E}[\gamma g(\gamma)] $ および有効ノイズ分散 $ \sigma^2 = \mathbb{E}[(g(\gamma) - \mu \gamma)^2] $ を持つ線形モデルと漸近的に同等であるということであり、ここで $ \gamma \sim \mathcal{N}(0,1) $ である。
• 高次元漸近統計の道具、特に近似メッセージパッシング（AMP）フレームワークおよび凸ガウス最小最大化定理（CGMT）を用いる。
• LASSO再構成誤差を最小化する1ビット圧縮センシングの最適量子化器を導出し、その結果としてLloyd-Max量子化器が最適解であることが示された。

実験結果

リサーチクエスチョン

• RQ1 一般化LASSOは、線形モデルを想定しているが、測定が非線形に変換されても有効に機能し続けるのか？
• RQ2 非線形測定を持つ一般化LASSOの推定誤差は、高次元漸近的枠組みで正確に特徴付けられるか？
• RQ3 非線形測定モデルと漸近的に同等となる、有効な信号およびノイズパラメータを持つ線形モデルは存在するか？
• RQ4 LASSO再構成誤差を最小化する1ビット圧縮センシングの最適量子化器は何か？

主な発見

• 非線形測定を持つ一般化LASSOの推定誤差は、$ \mu = \mathbb{E}[\gamma g(\gamma)] $ でスケーリングされた信号および $ \sigma^2 = \mathbb{E}[(g(\gamma) - \mu \gamma)^2] $ のノイズ分散を持つ線形モデルのものと漸近的に同等である。
• 非線形測定と構造化信号を伴う文脈において、推定誤差の正確な漸近的特徴付けを初めて得た。
• 1ビット量子化測定の場合、LASSO再構成誤差を最小化する最適量子化器はLloyd-Max量子化器であり、これは比 $ \sigma^2 / \mu^2 $ を最小化する。
• この同等性は、i.i.d. 標準ガウス測定行列および $ m, n \to \infty $ で固定された $ m/n $ の高次元漸近的枠組み下で成立する。