[論文レビュー] The Smooth-Lasso and other $\ell_1+\ell_2$-penalized methods

Mohamed Hebiri, Sara A. van de Geer|arXiv (Cornell University)|Mar 25, 2010

Statistical Methods and Inference参考文献 34被引用数 4

ひとこと要約

本稿では、高次元線形モデルにおける変数選択と推定を改善するため、$µ_1$ と $µ_2$ ペナルティを組み合わせた $β$-ペナルティ推定量の一般クラスと Smooth-Lasso を導入する。二次的ペナルティを用いて構造的情報を（例：滑らかさや相関）組み込むことで、設計行列に対する仮定を弱める条件下でも、Lasso や Elastic-Net より優れた性能を達成する。特に回帰係数が滑らかまたは相関している場合に顕著である。

ABSTRACT

We consider a linear regression problem in a high dimensional setting where the number of covariates $p$ can be much larger than the sample size $n$. In such a situation, one often assumes sparsity of the regression vector, extit i.e., the regression vector contains many zero components. We propose a Lasso-type estimator $\hatβ^{Quad}$ (where '$Quad$' stands for quadratic) which is based on two penalty terms. The first one is the $\ell_1$ norm of the regression coefficients used to exploit the sparsity of the regression as done by the Lasso estimator, whereas the second is a quadratic penalty term introduced to capture some additional information on the setting of the problem. We detail two special cases: the Elastic-Net $\hatβ^{EN}$, which deals with sparse problems where correlations between variables may exist; and the Smooth-Lasso $\hatβ^{SL}$, which responds to sparse problems where successive regression coefficients are known to vary slowly (in some situations, this can also be interpreted in terms of correlations between successive variables). From a theoretical point of view, we establish variable selection consistency results and show that $\hatβ^{Quad}$ achieves a Sparsity Inequality, extit i.e., a bound in terms of the number of non-zero components of the 'true' regression vector. These results are provided under a weaker assumption on the Gram matrix than the one used by the Lasso. In some situations this guarantees a significant improvement over the Lasso. Furthermore, a simulation study is conducted and shows that the S-Lasso $\hatβ^{SL}$ performs better than known methods as the Lasso, the Elastic-Net $\hatβ^{EN}$, and the Fused-Lasso with respect to the estimation accuracy. This is especially the case when the regression vector is 'smooth', extit i.e., when the variations between successive coefficients of the unknown parameter of the regression are small. The study also reveals that the theoretical calibration of the tuning parameters and the one based on 10 fold cross validation imply two S-Lasso solutions with close performance.

研究の動機と目的

• 相関する共変量や滑らかな回帰係数を伴う高次元設定における Lasso の限界を克服すること。
• スパarsity と追加の構造的情報を併用する $µ_1+µ_2$-ペナルティ推定量の統一的枠組みを構築すること。
• Lasso よりも弱い条件下で変数選択の一致性とスパarsity オラクル不等式の理論的保証を確立すること。
• 真の回帰係数ベクトルが滑らかまたは相関している場合に、推定精度と変数選択の性能が向上することを示すこと。
• 理論的チューニングパラメータの補正を行い、シミュレーションスタディでその有効性を検証すること。

提案手法

• 二乗残差の和に加え、$\ell_1$ と二次的ペナルティ $\beta'\mathbf{J}'\mathbf{J}\beta$ を組み合わせた一般推定量 $\hat{\beta}^{Quad}$ を最小化する。
• 行列 $\mathbf{J}$ を用いて、滑らかさ（連続する係数がゆっくり変化する）や変数間の相関といった構造的仮定を表現する。
• Lasso が要請するよりも弱い制限固有値条件の下で理論的結果を確立し、高次元設定におけるロバストネスを向上させる。
• 真のパrameter ベクトルにおける非ゼロ係数の数を用いて推定誤差をバインドするスパarsity 不等式を導出する。
• Elastic-Net（相関する予測子用）と Smooth-Lasso（滑らかな係数系列用）という2つの特殊ケースに適用する。
• 濃縮不等式と高確率バウンドを用いて、サブガウスノイズ下での有限標本性能保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 Lasso よりも $\ell_1 + \ell_2$ ペナルティの組み合わせが、高次元線形モデルにおける変数選択と推定精度を向上させるか？
• RQ2 提案手法が、Lasso よりも設計行列に対する仮定を弱めた条件下でも変数選択の一致性を達成するか？
• RQ3 真の回帰係数が滑らかである場合、Smooth-Lasso は Lasso や Elastic-Net、Fused-Lasso よりも優れた性能を示すか？
• RQ4 滑らかさなどの構造的情報を符号化する二次的ペナルティを推定手順に組み込むと、理論的影響は何か？
• RQ5 理論的チューニングパラメータの補正が、実際の交差検証と同等の性能をもたらすか？

主な発見

• Smooth-Lasso 推定量は、真の回帰係数が滑らかである場合、Lasso や Elastic-Net よりも優れた推定精度を達成する。
• 理論的結果により、$\hat{\beta}^{Quad}$ は Lasso よりも弱い制限固有値条件の下でスパarsity 不等式を満たし、高次元設定におけるロバストネスが向上することが示された。
• シミュレーションスタディで、理論的チューニングパラメータの補正が 10-fold 交差検証と同等の性能を達成した。
• 特に設計行列に高い相関がある場合に、Lasso が要請する仮定よりも弱い条件下でも、変数選択の一致性が確立された。
• 滑らかに変化するか、相関する予測子を伴うスパースモデルにおいて、性能が向上した。
• シミュレーションスタディにより、真の係数ベクトルが滑らかである場合、Smooth-Lasso が推定誤差の観点で既存手法を上回ることが確認された。