[論文レビュー] Does $\ell_p$-minimization outperform $\ell_1$-minimization?

Le Zheng, Arian Maleki+3 more|arXiv (Cornell University)|Jan 15, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用数 15

ひとこと要約

本稿は、ノイズあり・アンダーサンプリングされた線形測定値からスパース信号を回復する際に、ℓₚ-最小化（0 ≤ p < 1）がLASSO（ℓ₁-最小化）を上回る性能を示すかどうかを調査する。漸近的状態における近似メッセージパッシング（AMP）とレプリカ解析を用いて、ノイズなし状況ではp < 1のときℓₚ-最小化がLASSOよりも優れたフェーズ遷移を達成することが示され、一方でノイズレベルに強く依存し、低ノイズではp = 0が他のものよりも優れており、高ノイズではp = 1が最良である。

ABSTRACT

In many application areas we are faced with the following question: Can we recover a sparse vector $x_o \in \mathbb{R}^N$ from its undersampled set of noisy observations $y \in \mathbb{R}^n$, $y=A x_o+w$. The last decade has witnessed a surge of algorithms and theoretical results addressing this question. One of the most popular algorithms is the $\ell_p$-regularized least squares (LPLS) given by the following formulation: \[ \hat{x}(γ,p )\in \arg\min_x \frac{1}{2}\|y - Ax\|_2^2+γ\|x\|_p^p, \] where $p \in [0,1]$. Despite the non-convexity of these problems for $p&lt;1$, they are still appealing because of the following folklores in compressed sensing: (i) $\hat{x}(γ,p )$ is closer to $x_o$ than $\hat{x}(γ,1)$. (ii) If we employ iterative methods that aim to converge to a local minima of LPLS, then under good initialization these algorithms converge to a solution that is closer to $x_o$ than $\hat{x}(γ,1)$. In spite of the existence of plenty of empirical results that support these folklore theorems, the theoretical progress to establish them has been very limited. This paper aims to study the above folklore theorems and establish their scope of validity. Starting with approximate message passing algorithm as a heuristic method for solving LPLS, we study the impact of initialization on the performance of AMP. Then, we employ the replica analysis to show the connection between the solution of AMP and $\hat{x}(γ, p)$ in the asymptotic settings. This enables us to compare the accuracy of $\hat{x}(γ,p)$ for $p \in [0,1]$. In particular, we will characterize the phase transition and noise sensitivity of LPLS for every $0\leq p\leq 1$ accurately. Our results in the noiseless setting confirm that LPLS exhibits the same phase transition for every $0\leq p &lt;1$ and this phase transition is much higher than that of LASSO.

研究の動機と目的

• 「ℓₚ-最小化（p < 1）はLASSO（ℓ₁-最小化）よりも優れたスパース信号回復を達成する」という広く知られた主張を厳密に評価すること。
• 非凸なℓₚ-正則化最小二乗法の反復的アルゴリズムにおける初期化の影響を理解すること。
• ℓₚ-最小化のフェーズ遷移とノイズ感度を、すべてのp ∈ [0,1]に対して漸近的解析を用いて特徴付けること。
• AMPがℓₚ-最小化のグローバル最適解に収束する条件を特定し、初期化に依存するかどうかを同定すること。

提案手法

• ℓₚ-正則化最小二乗法のヒューリスティックなソルバとして近似メッセージパッシング（AMP）を採用し、確率的i.i.d.測定行列下での状態遷移を追跡する。
• 統計物理学的手法の1つであるレプリカ解析を用い、AMPの漸近的性能を特徴付け、ℓₚ-正則化最小二乗法のグローバル最小値と関連付ける。
• AMPの状態遷移方程式を導出し、高次元極限における推定誤差とノイズ除去関数の挙動をモデル化する。
• AMPの固定点を解析し、スパース度とノイズ分散に応じて真のスパース信号が回復可能かどうかを同定する。
• 漸近的期待値を用いて、さまざまなp値とノイズレベルにおけるℓₚおよびℓ₁解の平均二乗誤差（MSE）を比較する。
• 数値シミュレーションと理論的極限を用いて理論的予測を検証し、特に成功回復の臨界スパース度閾値δ*に注目する。

実験結果

リサーチクエスチョン

• RQ1 ノイズなし状況において、p < 1のℓₚ-最小化はLASSOよりも優れたフェーズ遷移を達成するか？ もしそうならば、どのp値のときか？
• RQ2 ℓₚ-最小化の性能は測定ノイズにどのように依存するか？ 低ノイズまたは高ノイズの状況で最適なp値は何か？
• RQ3 反復的ソルバの初期化が、ℓₚ-正則化最小二乗法のグローバル最適解への収束に及ぼす影響はどの程度か？
• RQ4 AMPが初期化に依存せず、ℓₚ-正則化最小二乗法のグローバル最小値に収束する条件は何か？
• RQ5 ノイズ感度と回復精度の観点から、ℓₚ-最小化とℓ₁-最小化の間に根本的な性能差があるか？

主な発見

• ノイズなし状況では、任意のp ∈ [0,1)におけるℓₚ-最小化が、ℓ₀-最小化と同等の改善されたフェーズ遷移閾値を達成し、LASSO（p = 1）よりも顕著に優れている。
• ノイズあり状況では、非常に低いノイズレベルにおいてp = 0（ハードスレッショルド）が他のp値よりも優れており、小さな摂動への感受性が低いためである。
• 高ノイズレベルでは、p = 1（LASSO）がℓₚ-最小化の中での最適であり、ノイズ増幅が最小限で、最も耐障害性が高い。
• ℓₚ-最小化の性能はノイズに非常に敏感である。中間のp値（例：p = 0.5）は、低ノイズおよび高ノイズの両方の状況で劣る性能を示す。
• AMPは、スパース度が臨界閾値δ*(p)未満である場合にのみ、ℓₚ-正則化最小二乗法のグローバル最小値を回復できる。このδ*(p)はpに依存し、最適化問題の実際のフェーズ遷移より低い。
• レプリカ解析により、ℓₚ-最小化のMSEおよびノイズ感度の漸近的特徴が正確に特徴付けられ、p < 1のℓₚ-最小化が有利なノイズ環境下でLASSOを上回ることを確認した。