[論文レビュー] Sequential Lasso for feature selection with ultra-high dimensional feature space

Shan Luo, Zehua Chen|arXiv (Cornell University)|Jul 14, 2011

Statistical Methods and Inference参考文献 37被引用数 6

ひとこと要約

本稿では、特徴量の数が標本サイズに対して極めて多い線形モデルにおける特徴選択手法として、Sequential Lassoを提案する。この手法は、動的に更新される罰則パラメータを用いて逐次的にLassoを適用することで、関連する特徴量を段階的に特定する。従来の手法よりも弱い条件下でも選択の一致性を確立し、特に相関構造が強い状況下でLasso や FSR が失敗するようなシナリオにおいて優れた性能を示す。

ABSTRACT

We propose a novel approach, Sequential Lasso, for feature selection in linear regression models with ultra-high dimensional feature spaces. We investigate in this article the asymptotic properties of Sequential Lasso and establish its selection consistency. Like other sequential methods, the implementation of Sequential Lasso is not limited by the dimensionality of the feature space. It has advantages over other sequential methods. The simulation studies comparing Sequential Lasso with other sequential methods are reported.

研究の動機と目的

• 特徴量の数が標本サイズをはるかに上回る超高次元線形モデルにおける特徴選択の課題に対処すること。
• 高相関構造下や因果特徴量の集合が発散する状況において、従来のLasso や前向きステップワイズ回帰（FSR）の限界を克服すること。
• 特徴空間のサイズが標本サイズとともに指数関数的に増加する状況においても、選択の一貫性を維持する逐次的手法を開発すること。
• irrepresentable 条件や相互非一貫性仮定よりも弱い仮定の下で、選択の一貫性を理論的に裏付けること。
• シミュレーション研究を通じて、多様な相関構造下での本手法の頑健性と優位性を示すこと。

提案手法

• 非ゼロ係数推定値をもたらす最大の罰則を用いた標準Lassoを開始し、初期の活性特徴量集合を形成する。
• 以降の段階では、部分的罰則を与える：現在の活性特徴量集合に属する係数は罰則を適用せず、それ以外のすべての係数には罰則を適用する。
• 更新された罰則を用いた罰則付き最小二乗基準に基づき、係数を再推定し、非ゼロ係数を示す新たな特徴量を選択する。
• 段階的に活性特徴量集合を拡大し、現在の段階で非ゼロ係数を示す特徴量を追加する。停止基準（例：EBIC や既知の $p_{0n}$）に達するまで繰り返す。
• モデルの適合度と複雑さのバランスを取るために、拡張済みBIC（EBIC）を停止基準として使用する。
• 本手法は、OMP やLasso が要請する仮定よりも弱い仮定の下で選択の一貫性を保証するための部分的正の錐条件を活用する。

実験結果

リサーチクエスチョン

• RQ1 特徴量の数が標本サイズとともに指数関数的に増加する状況下でも、逐次的Lasso手順が選択の一貫性を達成できるか。
• RQ2 特に因果特徴量と非因果特徴量が強く相関している状況下で、Sequential Lasso は Lasso や FSR と比較してどのように性能を発揮するか。
• RQ3 従来の手法（Lasso や FSR）が失敗する状況で、Sequential Lasso がどの条件下で選択の一貫性を維持するか。
• RQ4 Sequential Lasso は、一定の相関、指数的減衰、高い集団的相関といった多様な相関構造下でも頑健性を示すか。
• RQ5 Sequential Lasso の理論的性質を OMP に拡張することで、弱い仮定の下での OMP の挙動について新たな知見が得られるか。

主な発見

• Sequential Lasso は、irrepresentable 条件や相互非一貫性性質よりも弱い仮定の下でも、特徴量の数が標本サイズとともに指数関数的に増加する状況下でも選択の一貫性を達成する。
• シミュレーション研究A（独立または弱相関の特徴量）では、Sequential Lasso は FSR と同等の性能を示し、EBIC を停止基準に用いる場合、Lasso よりもわずかに優れている。
• シミュレーション研究B（強く相関する非因果特徴量）では、PDR が高く、FDR が低いという点で、Sequential Lasso は Lasso や FSR を顕著に上回る。特に $p_{0n}$ を停止基準に用いた場合に顕著である。
• 相関構造B2（非因果特徴量がすべての因果特徴量と強く相関）では、Sequential Lasso は低FDRを維持するが、FSR は高いFDRを示す（PDRは高いが）。これは、誤検出の制御が優れていることを示している。
• EBIC をモデル選択に用いた場合、Sequential Lasso は Lasso と同等の性能を示し、特に高相関構造下では FSR よりも顕著に優れている。
• 指数的減衰や高い集団的相関といった多様な相関構造下での頑健性は、本手法の優位性と信頼性を示しており、現実の超高次元データに応用可能なことを示している。