[論文レビュー] Sure Independence Screening for Ultra-High Dimensional Feature Space

Jianqing Fan, Jinchi Lv|ArXiv.org|Dec 29, 2006

Statistical Methods and Inference参考文献 49被引用数 11

ひとこと要約

この論文は、マージナル相関を用いて次元削減を実行する、超高次元特徴選択のためのSure Independence Screening (SIS) を導入する。SIS は、次元が指数関数的に増加しても、すべての重要な変数を高い確率で保持する「sure screening」性質を達成し、有限標本性能を向上させるための反復版（ISIS）を併用する。

ABSTRACT

Variable selection plays an important role in high dimensional statistical modeling which nowadays appears in many areas and is key to various scientific discoveries. For problems of large scale or dimensionality $p$, estimation accuracy and computational cost are two top concerns. In a recent paper, Candes and Tao (2007) propose the Dantzig selector using $L_1$ regularization and show that it achieves the ideal risk up to a logarithmic factor $\log p$. Their innovative procedure and remarkable result are challenged when the dimensionality is ultra high as the factor $\log p$ can be large and their uniform uncertainty principle can fail. Motivated by these concerns, we introduce the concept of sure screening and propose a sure screening method based on a correlation learning, called the Sure Independence Screening (SIS), to reduce dimensionality from high to a moderate scale that is below sample size. In a fairly general asymptotic framework, the correlation learning is shown to have the sure screening property for even exponentially growing dimensionality. As a methodological extension, an iterative SIS (ISIS) is also proposed to enhance its finite sample performance. With dimension reduced accurately from high to below sample size, variable selection can be improved on both speed and accuracy, and can then be accomplished by a well-developed method such as the SCAD, Dantzig selector, Lasso, or adaptive Lasso. The connections of these penalized least-squares methods are also elucidated.

研究の動機と目的

• 予測子の数 $ p $ が標本サイズ $ n $ よりもはるかに大きい超高次元データの課題に対処すること。特に、ゲノム研究、ファイナンス、信号処理において顕著である。
• Dantzig セレクタのような既存手法の限界を克服すること。これらの手法は計算コストが高く、$ \\_\log p \\_ $ 要素が $ p $ の増加に伴い問題となる。
• すべての真に重要な変数が高い確率で保持される、いわゆる「sure screening」性質を満たす次元削減技術を開発すること。
• その後続の変数選択手法（SCAD、Lasso、Dantzig セレクタなど）の性能を向上させる、計算効率的でモデルフリーなスクリーニング手法を提案すること。
• マージナル相関が弱いか相関している場合に、真のモデルをよりよく回復できるように、SIS を反復版（ISIS）に拡張すること。

提案手法

• 応答変数とのマージナル相関に基づいて変数を順序付け・選択するモデルフリーな手法として、Sure Independence Screening (SIS) を提案する。
• SIS 手順を、$ |\text{corr}(X_j, Y)| $ が最大の $ s $ 個の変数を選択することとして定義する。ここで $ s $ は $ s < n $ を満たすように選ぶ。
• SIS が「sure screening」性質を達成するための理論的条件を確立する。すなわち、すべての重要な変数が選択された集合に含まれる確率が1に近づく条件を示す。
• 重要度の低い変数を除去または縮小した後、相関を再推定する反復的プロセスを用いて、有限標本における選択精度を向上させるための Iterative SIS (ISIS) を導入する。
• ガウス設計下で、ランダム行列理論の結果を活用して、一様不確実性原理（UUP）条件が満たされることを検証し、スクリーニング手順の安定性と一貫性を保証する。
• 集中不等式と球対称性の議論を用いて、相関統計量の尾部挙動を制限し、$ p $ が $ n $ と共に指数関数的に増加しても、スクリーニング手法が依然として有効であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 単純でモデルフリーなスクリーニング手法は、超高次元特徴空間を標本サイズ未満の中程度のサイズに効果的に低次元化しつつ、真に重要なすべての変数を保持できるだろうか？
• RQ2 マージナル相関スクリーニングが「sure screening」性質を達成する条件は何か？ これは、すべての関連する予測子が高い確率で保持されることを保証する。
• RQ3 次元 $ p $ が標本サイズ $ n $ と共に指数関数的に増加する場合、SIS の性能はどのように低下または向上するか？ また、この方法は一貫性を維持できるか？
• RQ4 弱い信号や相関のある予測子が存在する場合、反復的 SIS（ISIS）は元の SIS に比べて、有限標本性能をどの程度向上させるか？
• RQ5 非ガウス設計下でも、SIS 手法は有効で一貫性を示すだろうか？ また、Dantzig セレクターや Lasso といったより複雑な罰則付き推定器と比較して、高次元設定下でどの程度優れるか？

主な発見

• SIS はかなり一般的な漸近的枠組み下で sure screening 性質を達成し、$ p $ が $ n $ と共に指数関数的に増加しても、すべての重要な変数が選択集合に含まれる確率が1に近づくことを保証する。
• 計算が効率的でモデルフリーであり、マージナル相関のみに依存するため、SCAD や Lasso、Dantzig セレクターといったより複雑な手法の前処理に適している。
• 理論的分析により、ガウス設計下で、設計行列の極端な特異値がランダム行列理論により適切に制御されることを示し、スクリーニング手順の妥当性を裏付ける。
• 反復的 SIS（ISIS）は、相関を繰り返し再推定することで、有限標本における性能を顕著に向上させ、弱いが重要な変数が除外されるリスクを低減する。
• 本論文では、Dantzig セレクターのリスクバインドにおける要因 $ \log p $ が、SIS によって次元が $ s < n $ に低減された後は無視できるほど小さくなることを確立した。これにより、元の手法の主な限界が克服された。
• 一様不確実性原理（UUP）が高確率で成立する十分条件を導出し、スクリーニング後の $ \ell_1 $-ベース手法の使用を正当化した。