[論文レビュー] A Selective Overview of Variable Selection in High Dimensional Feature Space (Invited Review Article)

Jianqing Fan, Jinchi Lv|ArXiv.org|Oct 6, 2009

Statistical Methods and Inference参考文献 106被引用数 38

ひとこと要約

本稿は、高次元特徴空間における変数選択手法について包括的なレビューを提供し、SCAD や LASSO などの罰則付き尤度アプローチに焦点を当てる。非凸罰則（例：SCAD）が、多項式的でない割合で次元が増加する場合でもオラクル性質と一貫性のある変数選択を達成できることを確立しており、ultra-high-dimensional 環境下で L1-penalized 手法を上回る性能を示す。

ABSTRACT

High dimensional statistical problems arise from diverse fields of scientific research and technological development. Variable selection plays a pivotal role in contemporary statistical learning and scientific discoveries. The traditional idea of best subset selection methods, which can be regarded as a specific form of penalized likelihood, is computationally too expensive for many modern statistical applications. Other forms of penalized likelihood methods have been successfully developed over the last decade to cope with high dimensionality. They have been widely applied for simultaneously selecting important variables and estimating their effects in high dimensional statistical inference. In this article, we present a brief account of the recent developments of theory, methods, and implementations for high dimensional variable selection. What limits of the dimensionality such methods can handle, what the role of penalty functions is, and what the statistical properties are rapidly drive the advances of the field. The properties of non-concave penalized likelihood and its roles in high dimensional statistical modeling are emphasized. We also review some recent advances in ultra-high dimensional variable selection, with emphasis on independence screening and two-scale methods.

研究の動機と目的

• p >> n となる高次元データにおける変数選択の課題に取り組むこと。これは、ゲノム研究、ファイナンス、機械学習の分野で一般的である。
• 従来のベストサブセット選択法や L1-penalized 手法（例：LASSO）が ultra-high-dimensional 環境下で示す限界を検討すること。
• 非凸罰則付き尤度推定器がオラクル性質と一貫性のある変数選択を達成するための理論的条件を確立すること。
• 罰則関数が高次元モデルにおけるバイアス、選択の一貫性、計算可能性のバランスを果たす役割を調査すること。
• 最近の進展、例えば sure independence screening や two-scale 手法が ultra-high-dimensional 変数選択にどのように応用されるかをレビューすること。

提案手法

• SCAD などの折りたたみ凸罰則を用いた罰則付き尤度推定を用い、同時に変数選択とパrameter 推定を実行する。
• 非漸近的かつ非多項式的（NP）次元増加の下での罰則付き尤度推定器の漸近的挙動を分析する。
• 一般化線形モデルにおける非凸罰則付き尤度推定器に対して、非漸近的弱オラクル性質を導出する。
• SCAD 罰則がグローバルまたは制限付きグローバル最適性を達成するための条件を確立し、L1-penalization に起因するバイアス問題を回避する。
• マージナル相関を用いた sure screening を導入し、大規模な罰則付き推定の前段階で次元を低減する。
• sure screening と洗練された罰則付き尤度推定を組み合わせた two-scale 手法を適用し、ultra-high-dimensional データを処理する。

実験結果

リサーチクエスチョン

• RQ1 p が n に対して多項式的でない割合で増加する ultra-high-dimensional モデルにおいて、非凸罰則付き尤度手法がオラクル性質を達成できるか？
• RQ2 高次元漸近的条件下で、SCAD や LASSO などの罰則関数は、バイアス低減および変数選択の一貫性においてどのように比較されるか？
• RQ3 L1-penalized 尤度推定器が最適収束速度 O_P(√s n^{-1/2}) やオラクル性質を達成できない理論的条件は何か？
• RQ4 ultra-high-dimensional 環境下で、重要な予測子を失うことなく、全モデル適合の前段階で次元を効果的に低減する方法は何か？
• RQ5 非凸罰則付き尤度推定器がグローバル最適またはオラクル推定器に近いかどうかの条件は何か？

主な発見

• 非凸罰則付き尤度推定器、特に SCAD は、多項式的でない割合で次元が増加する ultra-high-dimensional モデルにおいて、オラクル性質と一貫性のある変数選択を達成する。
• L1-penalized 尤度推定器は、p → ∞ かつ n が固定のとき、最適収束速度 O_P(√s n^{-1/2}) を達成できず、オラクル性質を欠く。
• SCAD 罰則は L1-penalization よりも推定バイアスを低減でき、正則性条件のもとで罰則付き尤度のグローバル最大値を達成できる。
• Sure independence screening は、次元を p からより小さいスケールに効果的に低減でき、ultra-high-dimensional 環境下での後続の罰則付き尤度推定を可能にする。
• log p = o(n^{1-2(α₀+α₁)} d_n²) の条件下で、非凸罰則付き尤度推定器に対して非漸近的弱オラクル性質が成立し、弱信号条件下でも p の指数的増加を許容する。
• 理論的結果により、適切な正則性および信号強度条件のもとで、次元 p が u_n = √(2 log p) に対して指数関数的に増加しうることが示された。