[論文レビュー] Reluctant Interaction Modeling

Guo Yu, Jacob Bien+1 more|arXiv (Cornell University)|Jul 19, 2019

Bioinformatics and Genomic Networks参考文献 51被引用数 11

ひとこと要約

この論文では、予測性能が類似する場合に交互作用効果よりも主効果を優先する、大規模な相互作用モデリングに計算的に効率的な方法である sprinter を導入する。『ためらう』原則（階層性を強制せずに主効果を好む）を適用することで、最大100億個の相互作用を含むスパースな相互作用モデルを構築でき、単一のCPUで7時間未満で5分割交差検証を実行しながら、優れた統計的性能を維持する。

ABSTRACT

Including pairwise interactions between the predictors of a regression model can produce better predicting models. However, to fit such interaction models on typical data sets in biology and other fields can often require solving enormous variable selection problems with billions of interactions. The scale of such problems demands methods that are computationally cheap (both in time and memory) yet still have sound statistical properties. Motivated by these large-scale problem sizes, we adopt a very simple guiding principle: One should prefer main effects over interactions if all else is equal. This "reluctance" to interactions, while reminiscent of the hierarchy principle for interactions, is much less restrictive. We design a computationally efficient method built upon this principle and provide theoretical results indicating favorable statistical properties. Empirical results show dramatic computational improvement without sacrificing statistical properties. For example, the proposed method can solve a problem with 10 billion interactions with 5-fold cross-validation in under 7 hours on a single CPU.

研究の動機と目的

• 高次元設定における完全な相互作用モデルの適合が計算的に非現実的であることを解決すること、特にゲノム解析やテキスト解析において。
• 主効果を相互作用よりも明示的に好む方法を開発することにより、解釈可能性と低い複雑さを反映する。
• 制限的な階層性の原則に依存せずに、大規模な相互作用モデリングを可能にすること。
• 主効果のみのモデルと同等の計算効率を達成しながら、予測精度を維持すること。

提案手法

• 複数段階のスクリーニングフレームワークを用いる：まず主効果のみのモデルをフィットさせ、次に残差との相関に基づいて相互作用をスクリーニングする。
• 相互作用は、主効果のみで達成できる予測性能を著しく上回る場合にのみ選択される。
• すべてのペアワイズ相互作用を格納または明示的に計算するのを避け、代わりに効率的な相関スクリーニングに依存する。
• 誤検出を制御しながらも、意味のある相互作用に対する感度を維持するため、緩められたしきい値戦略を用いる。
• メモリおよび時間の効率性を考慮して設計されており、数十億個の潜在的相互作用を含む問題にスケーリング可能である。
• 残差の再帰的スクリーニングを通じて、高次相互作用への一般化が可能である。

実験結果

リサーチクエスチョン

• RQ1 単純で計算的に効率的な手法が、大規模データセットにおいて標準的なlassoベースの相互作用モデリングを上回ることができるか？
• RQ2 予測性能が同等の場合に相互作用を含めるのを『ためらう』ことで、主効果を優先することは、実用的および統計的に優れた結果をもたらすか？
• RQ3 階層性の原則に依存せずに、最大100億個の相互作用を含む相互作用モデルを大規模に適合させることができるか？
• RQ4 予測誤差および計算時間の観点から、提案手法は階層的および非階層的代替手法と比較してどのように差をつけるか？

主な発見

• sprinter は Tripadvisor データセットで予測のRMSEが1.091を達成し、MEL（1.153）および2段階階層lasso（1.125）を上回った。
• 主効果は304個、相互作用は526個にのみ選択され、高いスパarsityを維持しながらも高い予測精度を達成した。
• sprinter は、約100億個の潜在的相互作用を含む問題を、単一のCPUで7時間未満で5分割交差検証で解いた。
• 2000個の主効果を含む問題について、all-pairs lasso（APL）よりも100倍速かった。
• 『awful × not』 や 『rude × but』 のような相互作用の係数推定値は、期待される否定的センチメント調節を示し、モデルの解釈可能性を検証した。
• 『wonderful × superb』 のような相互作用の負の係数は、重複する高級形容詞によるリターンの逓減を示しており、直感的な意味的挙動を確認した。