[論文レビュー] Thresholded Lasso for high dimensional variable selection and statistical estimation

Shuheng Zhou|arXiv (Cornell University)|Feb 8, 2010

Statistical Methods and Inference参考文献 48被引用数 42

ひとこと要約

本稿では、高次元線形モデルにおけるスパースオラクル不等式を達成するための2段階手順であるThresholded Lassoを提案する。制限固有値条件の下で、$\Vert\beta - \beta^*\Vert_2^2$ が理想の平均二乗誤差の対数因子の範囲内に収まることが保証され、真のパラメータのスパース構造を効果的に回復しつつ、推定の正確性を維持する。

ABSTRACT

Given $n$ noisy samples with $p$ dimensions, where $n \ll p$, we show that the multi-step thresholding procedure based on the Lasso -- we call it the {\it Thresholded Lasso}, can accurately estimate a sparse vector $β\in \R^p$ in a linear model $Y = X β+ ε$, where $X_{n imes p}$ is a design matrix normalized to have column $\ell_2$ norm $\sqrt{n}$, and $ε\sim N(0, σ^2 I_n)$. We show that under the restricted eigenvalue (RE) condition (Bickel-Ritov-Tsybakov 09), it is possible to achieve the $\ell_2$ loss within a logarithmic factor of the ideal mean square error one would achieve with an {\em oracle} while selecting a sufficiently sparse model -- hence achieving {\it sparse oracle inequalities}; the oracle would supply perfect information about which coordinates are non-zero and which are above the noise level. In some sense, the Thresholded Lasso recovers the choices that would have been made by the $\ell_0$ penalized least squares estimators, in that it selects a sufficiently sparse model without sacrificing the accuracy in estimating $β$ and in predicting $X β$. We also show for the Gauss-Dantzig selector (Candès-Tao 07), if $X$ obeys a uniform uncertainty principle and if the true parameter is sufficiently sparse, one will achieve the sparse oracle inequalities as above, while allowing at most $s_0$ irrelevant variables in the model in the worst case, where $s_0 \leq s$ is the smallest integer such that for $λ= \sqrt{2 \log p/n}$, $\sum_{i=1}^p \min(β_i^2, λ^2 σ^2) \leq s_0 λ^2 σ^2$. Our simulation results on the Thresholded Lasso match our theoretical analysis excellently.

研究の動機と目的

• 高次元線形回帰（$ n \ll p $）の問題に対処し、正確な変数選択と推定を達成すること。
• 真のサポートを完全に知っているオラクルと同等の推定精度を達成できる、計算的に実行可能な手法を開発すること。
• $\ell_1$-ペナルティ法（例：Lasso）と$\ell_0$-ペナルティ推定量の間のギャップを埋め、それらのモデル選択行動を回復すること。
• 特に制限固有値条件を最小限の仮定として、Thresholded Lassoの理論的保証を確立すること。
• スパースオラクル不等式が達成されることを示し、$\ell_2$-損失が最適なオラクルリスクの対数因子の範囲内に収まることを示すこと。

提案手法

• Lasso推定量 $ \widehat{\beta}_{\text{init}} = \arg\min_{\beta} \frac{1}{2n}\|Y - X\beta\|_2^2 + \lambda_n\|\beta\|_1 $ を用いる。ここで $ \lambda_n = d\sigma\sqrt{2\log p / n} $ とする。
• しきい値処理ステップを適用：$ \widehat{\beta}_{\text{thres},j} = \widehat{\beta}_{\text{init},j} \cdot \mathbf{1}_{\{ |\widehat{\beta}_{\text{init},j}| \geq t_0 \}} $ とし、$ t_0 $ は小さな係数を除去するために選ばれる。
• 設計行列 $ X $ に対する制限固有値（RE）条件を用いて、真のスパースパラメータ $ \beta $ の回復を保証する。
• $\ell_2$-損失が理想のオラクルリスクに対して相対的に抑えられることを示すことで、スパースオラクル不等式を確立する。
• 高次元統計の道具、特に制限直交性および一様不確実性原理を活用して理論的バインディングを導出する。
• 2段階手順としての分析：まずLassoで推定を行い、次にしきい値処理によりノイズと関係のない変数を除去する。

実験結果

リサーチクエスチョン

• RQ1 Lassoに基づく2段階しきい値処理手順は、高次元線形モデルにおいて、理想のオラクルリスクの対数因子の範囲内での推定精度を達成できるか？
• RQ2 設計行列 $ X $ にどのような条件下で、Thresholded Lassoは高確率で真のスパース構造 $ S = \text{supp}(\beta) $ を回復できるか？
• RQ3 モデル選択と推定誤差の観点から、Thresholded Lassoの性能は$\ell_0$-ペナルティ付き最小二乗法と比べてどうか？
• RQ4 Gauss-Dantzig選択子も同様の条件下でスパースオラクル不等式を達成できるか？また、Thresholded Lassoと比べて性能はいかがなっているか？
• RQ5 しきい値レベル $ t_0 $ は、モデルのスパarsityと推定の正確性のバランスをどのように果たしているか？

主な発見

• 制限固有値条件の下で、Thresholded Lassoは $ \|\widehat{\beta} - \beta\|_2^2 $ が、真のサポートを知っているオラクルが達成できる理想の平均二乗誤差の対数因子の範囲内に収まる。
• Lasso推定量が持つ推定精度を損なわずに、$\ell_0$-ペナルティ付き最小二乗法のモデル選択行動を再現する。
• Gauss-Dantzig選択子も、$ X $ が一様不確実性原理を満たし、真のパラメータが十分にスパースな場合、スパースオラクル不等式を達成する。
• モデルに含まれる不要な変数の数は、$ s_0 $ で抑えられる。ここで $ s_0 $ は、$ \sum_{i=1}^p \min(\beta_i^2, \lambda^2\sigma^2) \leq s_0 \lambda^2\sigma^2 $ を満たす最小の整数であり、$ \lambda = \sqrt{2\log p / n} $ である。
• シミュレーション結果は、Thresholded Lassoが理論的予測を非常に良く再現しており、有限標本でも良好な性能を示していることを確認している。
• しきい値処理ステップにより、Lasso単体でしばしば保持されてしまう小さなノイズ成分を効果的に除去でき、モデル選択性能が著しく向上している。