[論文レビュー] Regularization with the Smooth-Lasso procedure

Mohamed Hebiri|ArXiv.org|Mar 5, 2008

Statistical Methods and Inference参考文献 36被引用数 19

ひとこと要約

本稿は、高次元線形回帰におけるスムーズ・ラッソ（S-Lasso）推定量を導入し、スパarsityを実現するためのL1ペナルティと、相関する予測子を扱うためのl2融合ペナルティを組み合わせる。高次元漸近的条件下で変数選択の一致性とスパarsity不等式を確立し、相関のある設計設定においてLassoやElastic-Netを凌駕する性能を示す。

ABSTRACT

We consider the linear regression problem. We propose the S-Lasso procedure to estimate the unknown regression parameters. This estimator enjoys sparsity of the representation while taking into account correlation between successive covariates (or predictors). The study covers the case when $p\gg n$, i.e. the number of covariates is much larger than the number of observations. In the theoretical point of view, for fixed $p$, we establish asymptotic normality and consistency in variable selection results for our procedure. When $p\geq n$, we provide variable selection consistency results and show that the S-Lasso achieved a Sparsity Inequality, i.e., a bound in term of the number of non-zero components of the oracle vector. It appears that the S-Lasso has nice variable selection properties compared to its challengers. Furthermore, we provide an estimator of the effective degree of freedom of the S-Lasso estimator. A simulation study shows that the S-Lasso performs better than the Lasso as far as variable selection is concerned especially when high correlations between successive covariates exist. This procedure also appears to be a good challenger to the Elastic-Net (Zou and Hastie, 2005).

研究の動機と目的

• 相関する予測子の選択に制限を示すLassoの欠点を、滑らかさペナルティを組み込むことで是正すること。
• 高次元かつ相関のある設計設定において、スパarsityを維持しながら選択性能を向上させる正則化手順を開発すること。
• 高次元漸近的条件下（p ≫ n）におけるS-Lassoの変数選択の一致性と推定誤差の境界を理論的に確立すること。
• S-Lasso推定量の有効自由度の理論的枠組みを提供すること。
• シミュレーションを通じて、予測子が相関している場合、特に連続的な順序で相関している場合に、S-LassoがLassoやElastic-Netを上回ることを示すこと。

提案手法

• L1およびl2融合ペナルティを組み合わせた凸最適化問題の解としてS-Lasso推定量を提案：||Y - Xβ||_n² + λ||β||_1 + μ∑_{j=2}^p (β_j - β_{j-1})²。
• l2融合ペナルティを用いて隣接する回帰係数の類似性を促進し、相関する共変量が存在する状況での選択を改善する。
• l2融合ペナルティの厳密な凸性を活用して一意な解を保証し、最適化を容易にする。これはFused-Lassoにおけるl1融合ペナルティとは異なり、一意性を保証する。
• 相互コherーレンス、オラクル不等式、Steinの補題などの理論的ツールを用いて、有限標本および漸近的性質を導出する。
• 真のモデルにおける非ゼロ係数の数を用いて推定誤差を評価するスパarsity不等式を導出する。
• S-Lassoの有効自由度の推定器を提供し、高次元設定におけるモデル選択基準（AIC/BIC）の適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 隣接する係数間の滑らかさを組み込んだLassoの修正が、高次元かつ相関のある設計設定における変数選択を改善できるか？
• RQ2 S-Lassoは、特に予測子が相関している場合に、標準Lassoよりも弱い条件下でも変数選択の一致性を達成できるか？
• RQ3 推定精度とスパarsityの観点から、S-LassoはElastic-NetやFused-Lassoに比べてどのように性能を発揮するか？
• RQ4 高次元漸近的条件下（p ≌ n）におけるS-Lassoの理論的挙動、特に推定誤差と選択の一貫性に関しては？
• RQ5 S-Lassoに対して有効自由度の推定器を導出可能か？これによりモデル選択や推論が支援されるか？

主な発見

• S-Lassoは、連続する共変量が高頻度に相関している場合に、Lassoが要請する条件よりも制限が緩い条件下でも変数選択の一貫性を達成する。
• S-Lassoはスパarsity不等式を満たしており、推定誤差が真のモデルにおける非ゼロ係数の数に比例する項によって上限づけられている。
• 理論的分析により、チューニングパラメータλ_nとμ_nを適切に選択すれば、高次元漸近的条件下（p ≫ n）でS-Lasso推定量は推定および選択において一貫性を示すことが判明した。
• S-Lassoの有効自由度は、応答ベクトルの連続的かつ区分的定数関数として推定可能であり、モデル選択基準の適用を可能にする。
• シミュレーション結果により、特に連続する予測子が相関している場合に、S-LassoはLassoの変数選択性能を上回ることが示された。
• S-LassoはL1ペナルティによるスパarsityとl2融合ペナルティによる滑らかさの間で、良好なトレードオフを実現し、相関のある設計設定においてLassoやElastic-Netを凌駕する性能を発揮する。