[論文レビュー] The LASSO risk for gaussian matrices

Mohsen Bayati, Andrea Montanari|arXiv (Cornell University)|Aug 16, 2010

Sparse and Compressive Sensing Techniques参考文献 17被引用数 9

ひとこと要約

本稿は、設計行列 $ A $ が i.i.d. ガウス行列をとる高次元線形モデルにおいて、LASSO推定量の正規化された平均二乗誤差（MSE）に対する最初の厳密な漸近的公式を確立する。近似メッセージパッシング（AMP）アルゴリズムと高次元における漸近的解析を用いて、固定されたアスペクト比 $ \delta = n/N $ の下でLASSOリスクの明示的な極限を導出する。これにより、高次元領域における推定量の性能が正確に特徴づけられる。

ABSTRACT

We consider the problem of learning a coefficient vector x_0\in R^N from noisy linear observation y=Ax_0+w \in R^n. In many contexts (ranging from model selection to image processing) it is desirable to construct a sparse estimator x'. In this case, a popular approach consists in solving an L1-penalized least squares problem known as the LASSO or Basis Pursuit DeNoising (BPDN). For sequences of matrices A of increasing dimensions, with independent gaussian entries, we prove that the normalized risk of the LASSO converges to a limit, and we obtain an explicit expression for this limit. Our result is the first rigorous derivation of an explicit formula for the asymptotic mean square error of the LASSO for random instances. The proof technique is based on the analysis of AMP, a recently developed efficient algorithm, that is inspired from graphical models ideas. Simulations on real data matrices suggest that our results can be relevant in a broad array of practical applications.

研究の動機と目的

• i.i.d. ガウス設計行列をもつ高次元線形モデルにおけるLASSO推定量の正規化された平均二乗誤差（MSE）の正確な漸近的表現を導出すること。
• 問題の次元が増大する際、LASSOリスクが確率的意味で決定的極限にほとんど確実に収束することを確立すること。
• AMPアルゴリズムの解析を通じてLASSOの性能が正確に特徴づけられることを示すこと。この領域ではAMPは統計的にLASSOと同等である。
• 実世界のデータ行列を用いたシミュレーションを通じて理論的結果を検証し、ガウスアンサンブルを超えて普遍性が成り立つ可能性を示唆すること。

提案手法

• AMPアルゴリズムに基づく解析であり、これはソフトスレッショングと残差更新を繰り返し用いてスパース信号を推定する。
• AMPの各反復の漸近的挙動を追跡するための状態遷移フレームワークに依拠しており、決定的再帰方程式の集合を用いる。
• ガウス近似技術とランダム行列アンサンブルの性質を用いて、AMP反復の同時分布を特徴づけ、固定点への収束を分析する。
• 擬似リプシッツ関数と測度集中の性質を活用し、高次元極限における主要な内積およびノルムのほとんど確実な収束を確立する。
• 信号、ノイズ、残差成分に関する漸近的恒等式の系列を用い、それらの経験的分布がi.i.d. ガウス分布に収束することを示す。
• 主な技術的革新は、AMP反復が真のLASSO解に収束することの証明であり、また漸近的リスクが極限において固定点方程式で特徴づけられることである。

実験結果

リサーチクエスチョン

• RQ1 設計行列が i.i.d. ガウス行列をとる場合、問題の次元が増大するとき、LASSO推定量の正規化された平均二乗誤差の正確な漸近的値は何か？
• RQ2 固定されたアスペクト比 $ \delta = n/N $ の下で、サンプル数と特徴量の数が増加する際、LASSO推定量の性能は分布としてどのように収束するか？
• RQ3 AMPアルゴリズムを解析することで、LASSOの性能を正確に予測できるか？このアルゴリズムは計算的に効率良く、この領域ではLASSOと統計的に同等である。
• RQ4 ガウス行列に対する漸近的結果が、非ガウス的で実世界のデータ行列（遺伝子発現データや医療記録データなど）に対してもどの程度成り立つか？

主な発見

• 正規化されたLASSOリスクは、$ N, n \to \infty $ かつ $ \delta = n/N $ が固定される限り、ほとんど確実に決定的極限に収束する。
• 極限リスクは、信号対ノイズ比と $ x_0 $ のスパarsityレベルを用いた固定点方程式の解を含む明示的公式で与えられ、AMPアルゴリズムの状態遷移により導出される。
• 漸近的MSEはガウス行列 $ A $ の特定の実現値に依存せず、ほとんど確実に決定的値に収束する。
• AMPアルゴリズムはLASSOと同等の漸近的性能を達成し、高次元極限においてその反復は真のLASSO解に収束する。
• 遺伝子発現データやバイナリ医療記録データを用いた実データ行列のシミュレーションにより、中程度の問題サイズ（約200変数）に対しても、漸近的公式が正確な予測を提供することが示された。
• 結果から、普遍性の性質が示唆される：ガウス行列に対して導出された漸近的リスク公式は、ランダム行列理論の類似結果に類似した、広範な非ガウス行列アンサンブルに対しても成り立つ可能性がある。