[論文レビュー] Asymptotic Analysis of LASSOs Solution Path with Implications for Approximate Message Passing

Ali Mousavi, Arian Maleki+1 more|arXiv (Cornell University)|Sep 23, 2013

Advanced MIMO Systems Optimization参考文献 33被引用数 22

ひとこと要約

本稿は、正則化パrameter λ の変化に伴うLASSOの解パスの漸近的解析を提供し、高次元限界下で、活性集合サイズと平均二乗誤差がそれぞれ単調的および準凸的（quasi-convexly）に振る舞うことを示している。これらの結果により、近似メッセージパッシング（AMP）における新たな効率的なしきい値設定ポリシーが可能となり、スパース信号復元における精度と信頼性が向上する。

ABSTRACT

This paper concerns the performance of the LASSO (also knows as basis pursuit denoising) for recovering sparse signals from undersampled, randomized, noisy measurements. We consider the recovery of the signal $x_o \in \mathbb{R}^N$ from $n$ random and noisy linear observations $y= Ax_o + w$, where $A$ is the measurement matrix and $w$ is the noise. The LASSO estimate is given by the solution to the optimization problem $x_o$ with $\hat{x}_λ = \arg \min_x \frac{1}{2} \|y-Ax\|_2^2 + λ\|x\|_1$. Despite major progress in the theoretical analysis of the LASSO solution, little is known about its behavior as a function of the regularization parameter $λ$. In this paper we study two questions in the asymptotic setting (i.e., where $N ightarrow \infty$, $n ightarrow \infty$ while the ratio $n/N$ converges to a fixed number in $(0,1)$): (i) How does the size of the active set $\|\hat{x}_λ\|_0/N$ behave as a function of $λ$, and (ii) How does the mean square error $\|\hat{x}_λ - x_o\|_2^2/N$ behave as a function of $λ$? We then employ these results in a new, reliable algorithm for solving LASSO based on approximate message passing (AMP).

研究の動機と目的

• 正則化パrameter λ の変化に伴うLASSOの解パスの挙動を、高次元設定下で理解すること。
• 有限次元ケースで観察される直感に反する非単調的活性集合サイズの挙動を、漸近的状態の解析により解明すること。
• 近似メッセージパッシング（AMP）アルゴリズムにおける効率的かつ適応的なしきい値設定ポリシーを設計するための理論的基盤を提供すること。
• 漸近的条件下で、LASSO推定の平均二乗誤差（MSE）が λ に関して準凸的であることを確立し、λ における信頼性の高い最適化を可能にすること。
• 漸近的解パス解析に基づいて、AMP用に新たな、証明可能な正確性を持つしきい値設定ポリシーを開発すること。

提案手法

• N → ∞ かつ n/N → δ ∈ (0,1) の極限において、i.i.d. ガウス測定行列とスパース信号を仮定して、漸近的解析を実施する。
• 最適化問題 min_x (1/2)‖y − Ax‖₂² + λ‖x‖₁ を用いてLASSOの解パスを分析し、λ の変化に伴う解の変化を追跡する。
• λ の関数としての漸近的活性集合サイズ ‖x̂_λ‖₀/N および正規化されたMSE ‖x̂_λ − xₒ‖₂²/N の理論的表現を導出する。
• 漸近的解パスに基づき、λ に依存するしきい値を用いる新しい固定しきい値ポリシーをAMPに導入する。
• 各パramータ設定で20サンプルのモンテカルロシミュレーションを実施し、理論的フェーズ遷移曲線の実証的妥当性を検証する。
• δ と ρ のグリッド上で線形補間を用いて、実験的復元確率のヒートマップを構築し、理論的フェーズ遷移曲線と比較する。

実験結果

リサーチクエスチョン

• RQ1 漸近的状態下で、正則化パrameter λ の関数としての正規化された活性集合サイズ ‖x̂_λ‖₀/N はどのように変化するか？
• RQ2 高次元限界下で、正規化された平均二乗誤差 ‖x̂_λ − xₒ‖₂²/N は λ にどのように依存するか？
• RQ3 LASSOの解パスの漸近的挙動を活用して、近似メッセージパッシング（AMP）のより信頼性の高いしきい値設定ポリシーを設計できるか？
• RQ4 新しいしきい値設定ポリシーを用いたAMPのフェーズ遷移挙動は何か？また、理論的予測と比較してどうなるか？
• RQ5 有限次元LASSO解ではなぜ非単調的活性集合挙動が生じるのか？これは漸近的限界でも一般的な現象なのか？

主な発見

• N → ∞ かつ n/N → δ ∈ (0,1) の漸近的状態下で、正規化された活性集合サイズ ‖x̂_λ‖₀/N は λ の減少関数となり、有限次元ケースで観察された非単調的挙動が解消される。
• 正規化された平均二乗誤差 ‖x̂_λ − xₒ‖₂²/N は λ に関して準凸的関数であることが示され、最小値が一意に存在することを意味し、λ における効率的な最適化が可能になる。
• 漸近的解析から導出された理論的フェーズ遷移曲線は、モンテカルロシミュレーションにおける実験的復元確率と一致しており、理論モデルの妥当性が検証された。
• 漸近的解パスに裏付けられた新しい固定しきい値ポリシーをAMPに適用した結果、スパース信号の高確率での正確な復元が達成された。
• 実験的結果から、フェーズ遷移曲線（成功と失敗の境界）が理論的予測と非常に近接していることが示され、漸近的解析の有効性が確認された。
• 有限次元ケースにおける活性集合の病理的で非単調な挙動（例：図1）は、まれであり、漸近的挙動とは異なり、本質的に予測可能で安定した挙動を示すことが明らかになった。