[論文レビュー] Regularization after retention in ultrahigh dimensional linear regression models

Haolei Weng, Yang Feng+1 more|arXiv (Cornell University)|Nov 22, 2013

Statistical Methods and Inference参考文献 25被引用数 4

ひとこと要約

本稿は、超高次元線形回帰における新たな2段階変数選択フレームワークを提案する。重要な変数が弱いマージナル相関を持つ場合でも、マージナル相関に基づいて有意な変数を保持した後、残りの変数に対してのみ正則化を適用する。この手法はモデル選択の一貫性を達成し、独立性スクリーニングやLassoと比較して、特に有限標本において弱いマージナル信号が存在する状況で優れた性能を示す。

ABSTRACT

In ultrahigh dimensional setting, independence screening has been both theoretically and empirically proved a useful variable selection framework with low computation cost. In this work, we propose a two-step framework by using marginal information in a different perspective from independence screening. In particular, we retain significant variables rather than screening out irrelevant ones. The new method is shown to be model selection consistent in the ultrahigh dimensional linear regression model. To improve the finite sample performance, we then introduce a three-step version and characterize its asymptotic behavior. Simulations and real data analysis show advantages of our method over independence screening and its iterative variants in certain regimes.

研究の動機と目的

• 重要変数が弱いマージナル相関を持つ超高次元設定において、独立性スクリーニングの限界を解消すること。
• 信号が弱いか、ノイズと相関する場合の変数選択における有限標本性能の向上。
• 従来のスクリーニング手法よりも弱い仮定の下でモデル選択の一貫性を保証する理論的根拠を持つ手法の開発。
• スクリーニングによる除外に代わる原理的かつ整合性のある代替手法として、潜在的に重要な変数の保持に焦点を当てる。
• 特定のシミュレーション設定において、Lasso や反復的スクリーニング変種と比較して、提案手法の優位性を示すこと。

提案手法

• 最初の段階では、パーミュテーションに基づくしきい値処理を用いて、マージナル回帰係数推定値に基づいて予測子の集合を保持する。
• 2番目の段階では、保持されなかった変数に対してのみ、罰則付き最小二乗法による正則化を適用し、最適化問題の次元を低減する。
• 理論的分析により、真の信号の下限仮定を、無関係な変数のマージナル相関の上限仮定に置き換える。
• 誤検出（偽陽性）を是正する3段階の拡張が導入され、有限標本における性能が向上する。
• 2段階および3段階バージョンの両方について、ややきつい正則性条件のもとでモデル選択の一貫性が示され、漸近的性質が導出されている。
• Lassoとの理論的比較により、特に信号が弱い場合に、より優れたモデル選択の一貫性が得られることを示している。

実験結果

リサーチクエスチョン

• RQ1 弱いマージナル信号を伴う超高次元線形モデルにおいて、保留ベースのアプローチが従来のスクリーニング手法を上回る可能性はあるか？
• RQ2 独立性スクリーニングが弱いマージナル相関のため失敗する状況において、提案された2段階フレームワークがモデル選択の一貫性を達成できるか？
• RQ3 3段階の拡張は、保留段階からの偽陽性を是正することで、有限標本における性能をどのように向上させるか？
• RQ4 提案手法がモデル選択の一貫性を達成する理論的条件は何か？ それらはLasso や SIS の条件と比較してどう異なるか？
• RQ5 どのような設定において、提案手法がLasso や反復的スクリーニング変種を上回る性能を示すか？

主な発見

• 提案手法は、重要な変数が弱いマージナル相関を持つ場合でも、超高次元線形回帰においてモデル選択の一貫性を達成する。
• シミュレーションでは、RAR+ が SIS-lasso や ISIS-lasso と比較して、特に弱い信号の状況で顕著に高い選択精度を示した。
• シナリオ4(C)では、(n,p)=(700,4073) の条件下で RAR+ の平均信号回復割合は 0.81（標準偏差 0.08）であったのに対し、SIS-lasso は 0.56 であった。
• 3段階バージョン（RAR+）は、高次元設定においてモデルサイズを100以上から約20にまで効果的に低減させ、偽陽性の排除に成功した。
• シナリオ4(D)では、RAR+(MC+) のモデルサイズは (n,p)=(700,4073) の条件下で 20.50（標準偏差 0.95）であり、真のモデルサイズの20に非常に近い値を達成した。
• 理論的分析により、この手法の一致性条件はLasso よりも弱く、特に信号が弱いか、ノイズと相関する場合に顕著に優れていることが示された。