[論文レビュー] Precise Error Analysis of the LASSO under Correlated Designs

Ayed M. Alrashdi, Houssem Sifaou+3 more|arXiv (Cornell University)|Aug 29, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

本稿は、凸ガウス最小最大化定理（CGMT）を用いて、相関のあるガウス設計行列におけるLASSOの漸近的誤差解析を厳密に行う。シミュレーションにより、有限次元でも有効であることが確認された、平均二乗誤差（MSE）、サポート回復確率、要素誤差率（EER）、コサイン類似度の正確な表現が導出される。

ABSTRACT

In this paper, we consider the problem of recovering a sparse signal from noisy linear measurements using the so called LASSO formulation. We assume a correlated Gaussian design matrix with additive Gaussian noise. We precisely analyze the high dimensional asymptotic performance of the LASSO under correlated design matrices using the Convex Gaussian Min-max Theorem (CGMT). We define appropriate performance measures such as the mean-square error (MSE), probability of support recovery, element error rate (EER) and cosine similarity. Numerical simulations are presented to validate the derived theoretical results.

研究の動機と目的

• 実世界の応用で一般的な相関のある設計行列におけるLASSOの正確な理論的解析が不足しているという問題に取り組むこと。
• 従来のi.i.d.設計に対して得られていたLASSOの性能保証を、相関のあるガウス設計に拡張すること。
• MSE、EER、サポート回復、コサイン類似度を含む主な性能指標について、漸近的に正確な表現を提供すること。
• 数値シミュレーションを用いて理論的予測を検証し、有限次元設定でも高い精度を示すこと。

提案手法

• 相関のある設計行列下でのLASSOの高次元漸近的挙動を分析するために、凸ガウス最小最大化定理（CGMT）を用いる。
• 相関のある設計行列を $\mathbf{A} = \boldsymbol{\Sigma}^{1/2}\mathbf{H}$ とモデル化し、$\mathbf{H}$ はi.i.d. $\mathcal{N}(0, 1/n)$ の要素を持ち、$\boldsymbol{\Sigma}$ は既知の相関行列である。
• $m, n, k \to \infty$ の極限において、$m/n \to \delta$, $k/n \to \kappa$ の固定比を仮定し、性能指標の漸近的表現を導出する。
• CGMTフレームワークを用いて、元の最適化問題をスカラー最小化問題に簡略化し、解の統計的性質を正確に特徴づける。
• スパース・ベルヌーイ信号モデルの下で、MSE、EER、コサイン類似度の閉形式表現を導出する。
• 数値シミュレーションを用いて理論的予測を検証し、中程度の問題次元でも良好な一致を示している。

実験結果

リサーチクエスチョン

• RQ1 設計行列が相関を持つ場合、LASSOの漸近的平均二乗誤差（MSE）は何か？
• RQ2 設計行列の相関が、正しくサポートを回復する確率にどのように影響するか？
• RQ3 相関のある設計において、LASSOの漸近的要素誤差率（EER）は何か？
• RQ4 高次元極限において、推定値と真の信号との間のコサイン類似度はどのように振る舞うか？
• RQ5 有限次元問題に適用した場合、理論的予測の正確性はどの程度か？

主な発見

• 本稿は、CGMTフレームワークを用いて、相関のあるガウス設計行列におけるLASSOのMSEについて、正確な漸近的表現を導出する。
• スパース・ベルヌーイ信号モデルの下で、サポート上での回復確率の漸近的極限は $\text{plim } \Phi_{\xi,\text{on}}(\widehat{\mathbf{x}}) = Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star(\xi+1)}{\alpha_\star\beta_\star}\right) + Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star(\xi-1)}{\alpha_\star\beta_\star}\right)$ で与えられる。
• サポート外での回復確率の漸近的極限は $\text{plim } \Phi_{\xi,\text{off}}(\widehat{\mathbf{x}}) = 1 - 2Q\left(\frac{\lambda}{\beta_\star} + \frac{\chi_\star\xi}{\alpha_\star\beta_\star}\right)$ である。
• 漸近的EERは $\text{plim } \text{EER}_\xi = Q\left(\frac{\chi_\star(1-\xi)}{\alpha_\star\beta_\star} - \frac{\lambda}{\beta_\star}\right) - Q\left(\frac{\chi_\star(1+\xi)}{\alpha_\star\beta_\star} + \frac{\lambda}{\beta_\star}\right) + 2Q\left(\frac{\chi_\star\xi}{\alpha_\star\beta_\star} + \frac{\lambda}{\beta_\star}\right)$ で表される。
• コサイン類似度は $\text{plim } \cos(\angle(\widehat{\mathbf{x}}, \mathbf{x}_0)) = \frac{I_0}{\sqrt{\kappa(I_1 + I_2)}}$ で特徴づけられ、$I_0$, $I_1$, $I_2$ は閉形式で定義される。
• 数値的シミュレーションにより、理論的予測と実測結果が非常に良く一致しており、有限次元設定でも漸近的解析の正確性が裏付けられている。