[論文レビュー] Compressed Sensing over $\ell_p$-balls: Minimax Mean Square Error

David L. Donoho, Iain M. Johnstone+2 more|arXiv (Cornell University)|Mar 10, 2011

Sparse and Compressive Sensing Techniques参考文献 25被引用数 13

ひとこと要約

本稿は、高次元の圧縮センシングにおける $\beta$-penalized least-squares再構成（LASSO）について、$\beta_p$-balls 上での最小最大平均二乗誤差（AMSE）の正確な漸近的解析を提供する。i.i.d. ガウス型センシング行列と漸近的設定 $n,N \to \infty$ で $n/N = \delta$ の下で、最悪ケースの AMSE の正確な定数因子と収束速度が $\xi^2 \cdot \left(\frac{2\log(N/n)}{n}\right)^{2/p - 1} \cdot (1+o(1))$ として導出され、スカラー型ソフトスレッショーニングおよび AMP アルゴリズムとの深い関係が明らかになった。

ABSTRACT

We consider the compressed sensing problem, where the object $x_0 \in \bR^N$ is to be recovered from incomplete measurements $y = Ax_0 + z$; here the sensing matrix $A$ is an $n imes N$ random matrix with iid Gaussian entries and $n < N$. A popular method of sparsity-promoting reconstruction is $\ell^1$-penalized least-squares reconstruction (aka LASSO, Basis Pursuit). It is currently popular to consider the strict sparsity model, where the object $x_0$ is nonzero in only a small fraction of entries. In this paper, we instead consider the much more broadly applicable $\ell_p$-sparsity model, where $x_0$ is sparse in the sense of having $\ell_p$ norm bounded by $ξ\cdot N^{1/p}$ for some fixed $0 < p \leq 1$ and $ξ> 0$. We study an asymptotic regime in which $n$ and $N$ both tend to infinity with limiting ratio $n/N = δ\in (0,1)$, both in the noisy ($z eq 0$) and noiseless ($z=0$) cases. Under weak assumptions on $x_0$, we are able to precisely evaluate the worst-case asymptotic minimax mean-squared reconstruction error (AMSE) for $\ell^1$ penalized least-squares: min over penalization parameters, max over $\ell_p$-sparse objects $x_0$. We exhibit the asymptotically least-favorable object (hardest sparse signal to recover) and the maximin penalization. Our explicit formulas unexpectedly involve quantities appearing classically in statistical decision theory. Occurring in the present setting, they reflect a deeper connection between penalized $\ell^1$ minimization and scalar soft thresholding. This connection, which follows from earlier work of the authors and collaborators on the AMP iterative thresholding algorithm, is carefully explained. Our approach also gives precise results under weak-$\ell_p$ ball coefficient constraints, as we show here.

研究の動機と目的

• 圧縮センシングにおける $k$-スパースモデルとより現実的な $\ell_p$-ball スパースモデルの間の精度のギャップを埋めること。
• $\ell_p$-ball 約束下での $\ell^1$-penalized least-squares（LASSO）の最悪ケース最小最大平均二乗誤差（AMSE）の正確な漸近的表現を導出すること。
• $\ell_p$-ball モデルにおける回復が最も困難な信号（最悪の信号）と、最小最大誤差を達成するための最適なペナルティパラメータ $\lambda$ を同定すること。
• Approximate Message Passing（AMP）フレームワークを通じて、$\ell^1$-penalized 再構成とスカラー型ソフトスレッショーニングとの正確な関係を確立すること。

提案手法

• i.i.d. ガウス型センシング行列を用い、$n,N \to \infty$ で $n/N = \delta \in (0,1)$ となる高次元的漸近的設定を分析する。
• Approximate Message Passing（AMP）アルゴリズムとその理論的性質を適用し、漸近的平均二乗誤差の正確な表現を導出する。
• 先行の AMP 研究によって確立された $\ell^1$-penalized least-squares とスカラー型ソフトスレッショーニングの関係を用いて、最小最大結果を導出する。
• $x_0$ に弱い正則性条件を課し、モーメントの収束を保証するための一様可積分性条件を含む。
• ペナルティパラメータ $\lambda$ についての最小化と、$\|x_0\|_p^p \leq N\xi^p$ を満たすすべての $\ell_p$-スパース信号 $x_0$ についての最大化を通じて、最小最大 AMSE を導出する。
• 結果の妥当性を、Gel'fand の $n$-幅および既知の下界との比較により検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元的漸近的条件下で、$\ell_p$-balls 上の $\ell^1$-penalized least-squares 再構成の正確な漸近的最悪ケース最小最大平均二乗誤差（AMSE）は何か？
• RQ2 $\ell_p$-ball モデルにおける回復が最も困難な信号（最悪の信号）は何か？
• RQ3 最悪ケース AMSE を最適化するための最大最小ペナルティパラメータ $\lambda$ は何か？
• RQ4 最小最大 AMSE は問題の次元 $n,N$ およびスパースパラメータ $p$ に対してどのようにスケーリングされるか？
• RQ5 この漸近的設定下で、$\ell^1$-penalized 再構成とスカラー型ソフトスレッショーニングとの正確な関係は何か？

主な発見

• 最適にチューニングされた LASSO が $\ell_p$-balls 上で実行される場合の最悪ケース漸近的最小最大平均二乗誤差（AMSE）は、漸近的に $\xi^2 \cdot \left(\frac{2\log(N/n)}{n}\right)^{2/p - 1} \cdot (1+o(1))$ に収束する。
• 回復が最も困難な信号は明示的に特定され、$\ell_p$-ball 約束内での大きな値と小さな値の特定の配置に対応する。
• 最小最大 AMSE を達成する最大最小ペナルティパラメータ $\lambda$ は正確に特定され、$p$、$\xi$、および問題の次元に依存する。
• 解析により、極端なアンダーサンプリング（$n/N \to 0$ がゆっくり）は漸近的にノイズの追加と同等であることが明らかになった。この場合の有効なノイズレベルは $\log(N/n)/n$ に依存する。
• $\ell^1$-penalized 再構成とスカラー型ソフトスレッショーニングとの関係は、ヒューリスティックな関係ではなく、AMP アルゴリズムの収束性を用いて形式的に確立された。
• 結果は弱い $\ell_p$-ball 約束に対してもロバストであり、わずかなモーメント条件のもとでも有効であるため、広範な適用可能性を示唆している。