[論文レビュー] Adaptive Lasso for High Dimensional Regression and Gaussian Graphical Modeling

Shuheng Zhou, Sara van de Geer+1 more|ArXiv.org|Mar 13, 2009

Statistical Methods and Inference参考文献 20被引用数 62

ひとこと要約

本稿は、弱い設計条件の下で、高次元線形モデルおよびガウスグラフィカルモデルにおける2段階の適応的Lassoの理論的整合性を確立する。制限固有値条件—従来、Lassoの収束に対して十分であったもの—が、バイアスおよび不整合性の問題により通常のLassoが失敗する状況でも、適応的Lassoが正確なサポート回復を達成するのに十分であることを証明する。

ABSTRACT

We show that the two-stage adaptive Lasso procedure (Zou, 2006) is consistent for high-dimensional model selection in linear and Gaussian graphical models. Our conditions for consistency cover more general situations than those accomplished in previous work: we prove that restricted eigenvalue conditions (Bickel et al., 2008) are also sufficient for sparse structure estimation.

研究の動機と目的

• 2段階の適応的Lassoが高次元線形モデルおよびガウスグラフィカルモデルにおいてモデル選択整合性を達成することを確立すること。
• 標準Lassoが一貫的な変数選択を達成するために要する厳しい不整合性および表現不能性条件を緩和すること。
• 制限固有値条件—従来、Lassoの推定誤差バウンドに対して十分であったもの—が、適応的Lassoが真のスパarsityパターンを回復するのに対しても十分であることを示すこと。
• 非凸罰則に対する計算的に実行可能な代替手段としての適応的Lassoの理論的裏付けを提供すること。

提案手法

• 2段階の適応的Lasso手順を提案：まず標準Lassoで係数を推定し、その後初期推定値に基づく逆重みを用いた重み付きL1正則化を適用する。
• 初期推定値 $eta_{ ext{init}}$ を用いて、$j \notin S$ に対して $w_j = 1 / |eta_{j, ext{init}}|$ として適応的重みを定義し、非ゼロ係数におけるバイアスを低減する。
• 推定誤差の制御および変数選択の一貫性を保証するため、$X_S^T X_S / n$ に制限固有値条件を適用する。
• 確率的議論および設計行列と推定誤差に関する高確率バウンドを用いて、確率的および固定設計の両方の下での一貫性を導出する。
• サポート回復の分析のため、イベント集合 ${ m supp}(eta_{ ext{init}}) = { m supp}(eta)$ および ${ m supp}(eta) \neq { m supp}(eta_{ ext{init}})$ を導入する。
• 集中不等式および尾確率バウンドを用いて、誤ったサポート回復の確率を制御し、それが $O(1/p^2)$ のオーダーで減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 適応的Lassoは、表現不能性条件よりも弱い条件下で、高次元線形モデルにおいて一貫的な変数選択を達成できるか？
• RQ2 設計行列に制限固有値条件が課されている場合、適応的Lassoが真のモデルサポートを回復できるか？
• RQ3 設計行列に高い相関が見られる場合、適応的Lassoは標準Lassoよりもサポート回復において優れているか？
• RQ4 2段階の適応的Lasso手順は、高次元ガウスグラフィカルモデルにおいてオラクルに近い性能を達成できるか？
• RQ5 一貫的なモデル選択のための、$X_S^T X_S / n$ の最小固有値、$eta_{ ext{min}}$、スパarsity $s$ に対する最小条件は何か？

主な発見

• 2段階の適応的Lassoは、表現不能性条件よりも弱い制限固有値条件の下で一貫的なモデル選択を達成する。
• $eta_{ ext{min}}$ が十分にゆっくりと $0$ に近づき、$n$ が増加する限り、設計行列が高相関であっても、真のサポート集合 ${ m supp}(eta)$ を高確率で回復する。
• 誤ったサポート回復の確率は $O(1/p^2)$ で有界であり、提示された条件下で強い一貫性を示している。
• 標準Lassoが非ゼロ係数の縮小によるバイアスのため失敗する状況でも、適応的Lassoは成功する。特に、設計行列が整合性または表現不能性条件を満たさない場合に顕著である。
• 初期推定値 $eta_{ ext{init}}$ が $igracevert eta_{ ext{init}} - \beta \bigracevert_{\text{infty}}$ が十分に小さいことを満たす限り、固定設計および確率的設計の両方で理論的結果が成り立つ。
• 適応的重み付けによってバイアスを効果的に低減することで、最適化が凸のままでも高次元設定においてオラクルに近い性能を達成する。