[論文レビュー] Ultrahigh dimensional variable selection: beyond the linear model

Jianqing Fan, Samworth, Richard+1 more|ArXiv.org|Dec 17, 2008

Statistical Methods and Inference参考文献 34被引用数 32

ひとこと要約

本稿では、線形モデルを超えた超高次元変数選択のための一般化された反復的SURE独立スクリーニング（ISIS）手法を提案する。疑似尤度アプローチを用いて、一般化線形モデルおよびロバスト回帰への枠組みの拡張を実現する。既存手法に比べ、反復中に変数の削除を許容することで、誤発見率を低減し、実データ（SRBCT遺伝子発現データセットを含む）においても、予測子を少数に抑えた状態で優れた分類性能を達成する。特にSRBCTデータセットでは、15個の遺伝子のみを選択し、テスト誤差がゼロとなった。

ABSTRACT

Variable selection in high-dimensional space characterizes many contemporary problems in scientific discovery and decision making. Many frequently-used techniques are based on independence screening; examples include correlation ranking (Fan and Lv, 2008) or feature selection using a two-sample t-test in high-dimensional classification (Tibshirani et al., 2003). Within the context of the linear model, Fan and Lv (2008)showed that this simple correlation ranking possesses a sure independence screening property under certain conditions and that its revision, called iteratively sure independent screening (ISIS), is needed when the features are marginally unrelated but jointly related to the response variable. In this paper, we extend ISIS, without explicit definition of residuals, to a general pseudo-likelihood framework, which includes generalized linear models as a special case. Even in the least-squares setting, the new method improves ISIS by allowing variable deletion in the iterative process. Our technique allows us to select important features in high-dimensional classification where the popularly used two-sample t-method fails. A new technique is introduced to reduce the false discovery rate in the feature screening stage. Several simulated and two real data examples are presented to illustrate the methodology.

研究の動機と目的

• 現代の統計的学習における超高次元変数選択の課題に取り組むこと、特にp >> nの状況で、従来手法が計算的・統計的に非効率であるため機能しないこと。
• SURE独立スクリーニング（SIS）および反復的SIS（ISIS）の枠組みを線形モデルを超えて、一般化線形モデルおよびロバスト回帰に拡張すること。
• マージナル相関が誤解を招く場合に特に有効となるように、反復スクリーニング中に変数の削除を許容することでISISを改善し、選択の正確性を高めること。
• 初期スクリーニング段階での誤発見率を低減するための新技術を導入することで、超高次元分類における信頼性を向上させること。
• 実世界のデータ、特に遺伝子発現分類において、本手法の有効性を示すこと。本手法は、予測子を極めて少数に抑えた状態で高い精度を達成する。

提案手法

• 本手法は、ISISを疑似尤度フレームワークに一般化し、明示的な残差を必要とせず、一般化線形モデルおよびロバスト回帰への適用を可能にする。
• 反復的スクリーニングを用い、各ステップで作業残差と最も相関の高い予測子を選択し、モデルのフィットにより残差を更新する。
• 反復中に変数の削除を組み込み、以前に選択されたが重要でない変数を除去することで、モデルの安定性と正確性を向上させる。
• 単純なマージナル相関を超えた選択基準の見直しにより、スクリーニング段階での誤発見率を低減するための新技術を導入する。
• 本手法は2段階で適用される：まず、反復的スクリーニングにより次元数をpからd ≈ n/log nに削減する。次に、削減された集合に対してペナルティ付き尤度法（例：SCAD）を適用する。
• シミュレーションおよび実データ応用（SRBCT遺伝子発現データセットおよびマイクロアレイデータを用いた性別分類）を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ISISフレームワークは、線形モデルを超えて一般化線形モデルおよびロバスト回帰に対しても一般化可能か？
• RQ2 反復的スクリーニング中に変数の削除を許容することで、標準的なISISに比べて選択の正確性が向上するか？
• RQ3 新規スクリーニング技術により、超高次元特徴選択における誤発見率を低減できるか？
• RQ4 本手法は、LASSOおよびNSCと比較して、実データにおける分類精度およびスパarsityの観点で優れているか？
• RQ5 本手法は、超高次元分類において、既存手法よりも顕著に少ない予測子数でゼロのテスト誤差を達成できるか？

主な発見

• 提案された一般化されたISIS手法は、SRBCT遺伝子発現データセットにおいて、わずか15個の予測子でゼロのテスト誤差を達成し、LASSO（71遺伝子）およびNSC（343遺伝子）を上回った。
• 性別分類データセットでは、本手法は高精度で重要なプローブを的確に同定した。var2-ISISは14遺伝子を選択したのに対し、ISISは15遺伝子であったが、両者ともスパarsityの観点でLASSOおよびNSCを上回った。
• スクリーニング段階での誤発見率は、洗練された選択基準により低減され、超高次元環境下での信頼性が向上した。
• 反復中に変数の削除を許容することで、マージナル相関が共変動の依存性によって誤解を招く場合に、標準的なISISを上回る性能を発揮した。
• 一般化されたISISフレームワークにより、非線形および非正規分布モデル（一般化線形モデルおよびロバスト回帰を含む）に対しても、SUREスクリーニングの適用範囲が拡張された。
• シミュレーションおよび実データの両方において、高い統計的パワーを維持しながら、優れた計算効率とモデル安定性を達成した。