[論文レビュー] Model Selection for High-Dimensional Regression under the Generalized Irrepresentability Condition

Adel Javanmard, Andrea Montanari|arXiv (Cornell University)|Dec 5, 2013

Statistical Methods and Inference参考文献 24被引用数 1

ひとこと要約

本稿では、Lassoによる初期変数選択の後に、選択された変数集合上で制限付き最小二乗法を適用する2段階手法であるGauss-Lasso選択子を導入する。一般化不能性条件（GIC）の下で、この手法は高次元回帰において真の活性集合を理論的に回復可能であり、古典的不能性条件が要求する厳密な直交性を著しく緩和する。

ABSTRACT

In the high-dimensional regression model a response variable is linearly related to p covariates, but the sample size n is smaller than p. We assume that only a small subset of covariates is 'active' (i.e., the corresponding coefficients are non-zero), and consider the model-selection problem of identifying the active covariates. A popular approach is to estimate the regression coefficients through the Lasso (l1-regularized least squares). This is known to correctly identify the active set only if the irrelevant covariates are roughly orthogonal to the relevant ones, as quantified through the so called 'irrepresentability' condition. In this paper we study the 'Gauss-Lasso' selector, a simple two-stage method that first solves the Lasso, and then performs ordinary least squares restricted to the Lasso active set. We formulate 'generalized irrepresentability condition' (GIC), an assumption that is substantially weaker than irrepresentability. We prove that, under GIC, the Gauss-Lasso correctly recovers the active set.

研究の動機と目的

• 不能性条件が満たされない場合にLassoが示す高次元回帰における限界を是正すること。
• Lassoで選択された変数を制限付き最小二乗法で精緻化することで、活性集合回復を向上させる2段階手法を提案すること。
• 一貫性のあるモデル選択を保証する弱い条件である一般化不能性条件（GIC）を定義・分析すること。
• GICの下でGauss-Lasso選択子の理論的保証を確立し、古典的Lassoの仮定を超えて有効なモデル選択の範囲を拡張すること。

提案手法

• Gauss-Lasso選択子は、初期係数推定および活性集合の特定のためLassoを適用する。
• その後、Lassoが選択した共変数に制限された通常最小二乗法を実行する。
• この手法は、古典的不能性要件を緩和する新しい条件、一般化不能性条件（GIC）に依存する。
• GICは、関連のある共変数と関係のない共変数の間の相関を、非ゼロではあるが有界な依存性として定量化する。
• 理論的分析は、高次元漸近枠組みを用い、Gauss-Lassoが真の活性集合を回復するための条件を導出する。
• この手法は計算的に効率的であり、Lassoのスパarsity誘導特性を活かした後、選択モデル上で不偏推定を実行する。

実験結果

リサーチクエスチョン

• RQ1 Gauss-Lasso選択子は、古典的不能性条件よりも弱い仮定のもとで、真の活性集合を一貫して回復できるか？
• RQ2 一般化不能性条件（GIC）は、標準的な不能性条件と比べて実用的妥当性と理論的強度の面でどのように異なるか？
• RQ3 高次元設定において2段階のGauss-Lassoが標準Lassoよりも優れた性能を示す理論的根拠は何か？
• RQ4 Gauss-LassoがLassoを上回る活性集合回復性能を示す条件は何か？
• RQ5 古典的不能性条件が成立しない場合に、Gauss-Lassoは一貫性を保つのか？

主な発見

• Gauss-Lasso選択子は、一般化不能性条件（GIC）の下で真の活性集合を正しく回復する。GICは古典的不能性条件よりも厳密に弱い。
• GICは、関連のある共変数と関係のない共変数の間の非ゼロ相関を、特定の方法で有界にすることを許容する。
• 2段階手順により、変数選択後のLasso推定係数のバイアスを低減することで、モデル選択の一貫性が向上する。
• Lassoが古典的不能性条件に違反する場合に失敗する状況でも、この手法は活性集合の回復を達成する。
• 理論的結果は、n < p であるが真のモデルがスパースである高次元漸近的枠組みでも、Gauss-Lassoが一貫性を保つことを示している。