[論文レビュー] Interaction Pursuit with Feature Screening and Selection

Yingying Fan, Yinfei Kong+2 more|arXiv (Cornell University)|May 28, 2016

Gene expression and cancer classification参考文献 39被引用数 20

ひとこと要約

本稿では、超高次元データにおける重要な主効果および交互作用を同定するための2段階手法である相互作用探索（IP）を提案する。まず、特徴スクリーニングの新手法を用いて交互作用と主効果を別々にスクリーニングし、次に正則化を適用して選択を行う。一般な条件下で確実なスクリーニングおよびオラクル性を達成し、シミュレーションおよび実データにおいて高い効率性と正確性を示した。

ABSTRACT

Understanding how features interact with each other is of paramount importance in many scientific discoveries and contemporary applications. Yet interaction identification becomes challenging even for a moderate number of covariates. In this paper, we suggest an efficient and flexible procedure, called the interaction pursuit (IP), for interaction identification in ultra-high dimensions. The suggested method first reduces the number of interactions and main effects to a moderate scale by a new feature screening approach, and then selects important interactions and main effects in the reduced feature space using regularization methods. Compared to existing approaches, our method screens interactions separately from main effects and thus can be more effective in interaction screening. Under a fairly general framework, we establish that for both interactions and main effects, the method enjoys the sure screening property in screening and oracle inequalities in selection. Our method and theoretical results are supported by several simulation and real data examples.

研究の動機と目的

• 交互作用項の数が予測変数の数の2乗に比例して増加する超高次元データセットにおいて、顕著な主効果および交互作用を同定する課題に対処すること。
• 高次元設定において、継承仮定に依存し、複雑な制約を課す従来の正則化手法の計算的・理論的限界を克服すること。
• 相互作用と主効果のスクリーニングを分離することで検出力の向上を図る、柔軟で効率的かつ理論的裏付けのある手法を開発すること。
• 一般なモデル仮定の下で、相互作用および主効果の選択に関して、確実なスクリーニングおよびオラクル不等式の理論的保証を確立すること。
• 広範なシミュレーションおよび実データ応用（ゲノムワイド関連解析を含む）を通じて、手法の実用的性能を実証すること。

提案手法

• まず、新しい特徴スクリーニング手法を用いて、候補となる相互作用と主効果を別々にランク付け・削減する2スケール学習フレームワークを提案する。
• 各特徴とその相互作用項の共同寄与度を評価するために、修正された検定統計量を用いたマージナル相関スクリーニングを実施する。
• 削減された特徴空間において正則化（例：Lasso型）を適用し、重要な主効果および相互作用を選択することで、スパarsityと解釈可能性を確保する。
• スクリーニング段階を、相互作用と主効果を独立して処理することで、共同スクリーニングや継承制約付きモデルが引き起こすバイアスを回避する。
• 理論的分析により、この手法が弱い正則性条件のもとで確実なスクリーニング性およびオラクル不等式を達成することが示された。
• スクリーニングと選択のステップを統合的にパイプライン化し、$ p $ が標本サイズに対して多項式的でない速度で増加しても計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 相互作用と主効果を別々にスクリーニングする2段階手法は、超高次元データにおける重要な特徴を同定する際、共同スクリーニングを上回る性能を示すか？
• RQ2 提案された相互作用探索手法は、主効果および相互作用の両方について、確実なスクリーニング性を維持し、オラクル不等式を達成するか？
• RQ3 選択精度および計算コストの観点から、SIS、DC-SIS、SIRI、および階層的正則化手法など、従来の手法と比較して、本手法はどのように性能を発揮するか？
• RQ4 継承仮定が満たされない場合や誤差分布が正規性から逸脱する場合、本手法はどの程度有効性を保つのか？
• RQ5 ゲノミクス分野のデータのように $ p $ が数千以上に達する大規模データセットに対しても、本手法は効率的にスケーリング可能か？

主な発見

• IP手法は、正規分布および重い尾を持つ誤差のもとで、すべてのシミュレーション設定において主効果および相互作用の両方で確実なスクリーニング性を達成し、100%の真正陽性率を示した。
• $ p = 200 $ のシミュレーションでは、IPは hierNet よりも計算時間を 8.46 倍短縮し、$ p = 500 $ では 48.42 倍短縮した。これは、スケーラビリティに優れていることを示している。
• M3′ および M4′ の相互作用モデルでは、IPはすべての重要な相互作用のうちそれぞれ 69% および 26% を保持したが、SIS2（0%）、DC-SIS2（0%）、SIRI*2（5% および 20%）を上回った。
• 正規分布およびt分布の両方の誤差分布のもとで、$ p = 2000 $ および $ n = 200 $ の設定において、IPはすべての重要な主効果を100%保持した。一方、SIRI*2 は77%に低下した。
• 高次元設定（$ p = 5000 $）において、IPは最良のシナリオですべての重要な主効果の99%、重要な相互作用の98%を保持した。これは、競合手法を著しく上回る性能を示した。
• 相関構造が $ ho = 0 $ および $ ho = 0.5 $ の両方の条件下でも、選択精度に顕著な低下がなく、性能が安定していた。