[論文レビュー] Interaction pursuit in high-dimensional multi-response regression via distance correlation

Yinfei Kong, Daoji Li+2 more|arXiv (Cornell University)|May 11, 2016

Statistical Methods and Inference参考文献 33被引用数 4

ひとこと要約

本稿では、距離相関を用いた特徴スクリーニングと選択により、高次元多応答回帰における二段階の相互作用抽出手法IPDCを提案する。この手法は、継承性や正規性の仮定に依存せず、sure screening、サポート連合回復、およびオラクル不等式を達成する。応答数が標本サイズとともに増加する場合でも有効である。

ABSTRACT

Feature interactions can contribute to a large proportion of variation in many prediction models. In the era of big data, the coexistence of high dimensionality in both responses and covariates poses unprecedented challenges in identifying important interactions. In this paper, we suggest a two-stage interaction identification method, called the interaction pursuit via distance correlation (IPDC), in the setting of high-dimensional multi-response interaction models that exploits feature screening applied to transformed variables with distance correlation followed by feature selection. Such a procedure is computationally efficient, generally applicable beyond the heredity assumption, and effective even when the number of responses diverges with the sample size. Under mild regularity conditions, we show that this method enjoys nice theoretical properties including the sure screening property, support union recovery, and oracle inequalities in prediction and estimation for both interactions and main effects. The advantages of our method are supported by several simulation studies and real data analysis.

研究の動機と目的

• 発散する応答数を伴う高次元多応答回帰における顕著な特徴相互作用の同定という課題に対処すること。
• 共変数の継承性や同時正規性といった強い仮定に依存する既存手法の限界を克服すること。
• 主効果と相互作用を同時に取り扱える、計算的に効率的でモデルフリーな手法を開発すること。
• ややいなごろの正則性条件の下で、相互作用および主効果の選択に関する理論的保証を確立すること。

提案手法

• 二段階手順において、変換された変数（二乗変換を用いて）の距離相関を適用し、重要な相互作用を同定する。
• 次元削減のため、変換された予測子と応答の間の距離相関に基づくスクリーニングステップを用いる。
• 主効果と相互作用の両方を推定するために、罰則付き推定を用いた特徴選択ステップを採用する。
• 非線形依存性の検出感度を高めるために、二乗変換を導入する。
• 理論的分析では、ベルンシュタイン型不等式とモーメント条件を用いて、推定誤差の一様バインドを導出する。
• この手法は非正規性に対してロバストであり、継承性仮定を必要としないように設計されている。

実験結果

リサーチクエスチョン

• RQ1 継承性や正規性の仮定をせず、距離相関に基づくスクリーニングが高次元多応答モデルにおける重要な相互作用を効果的に同定できるか？
• RQ2 提案された二段階手法が、発散する応答次元を伴う高次元設定でもsure screening特性を達成できるか？
• RQ3 ややいなごろのモーメントおよび尾部条件の下で、主効果と相互作用の真のサポート（サポート連合回復）を回復できるか？
• RQ4 提案された枠組み下で、選択モデルの予測誤差および推定誤差のバインド（オラクル不等式）は何か？

主な発見

• IPDC手法はsure screening特性を達成しており、標本サイズが増加するにつれて、すべての重要な相互作用と主効果が高確率で保持される。
• ややいなごろの正則性条件下で、サポート連合回復が保証され、関連する主効果と相互作用の集合が正しく同定される。
• 予測誤差および推定誤差に関するオラクル不等式が確立され、真のモデルが分かっている場合とほぼ同等の性能を示すことが示された。
• 理論的保証は、$ q o ext{poly}(n) $ および $ ext{poly}( ext{log} p) = o(n^{1/3}) $ の条件下でも、応答数 $ q $ が標本サイズ $ n $ とともに発散する場合にも成立する。
• シミュレーション研究により、非正規性や非継承性の設定下でも、既存手法に比べて相互作用の検出性能が優れていることが確認された。
• 実データ解析により、高次元オミクスデータにおける生物学的に関連する相互作用の同定という、本手法の実用的有用性が示された。