[論文レビュー] Learning interactions through hierarchical group-lasso regularization

Michael Lim, Trevor Hastie|arXiv (Cornell University)|Aug 12, 2013

Statistical Methods and Inference参考文献 13被引用数 20

ひとこと要約

本稿では、強い階層性を保証する階層的グループリッジ正則化法である glinternet を提案する。この手法は、ペairワイズ相互作用を学習する際、相互作用が選択された場合にはその主効果が必ず含まれるようにする。グループリッジをスクリーニングされた相互作用候補に適用し、適応的リスタートを用いたFISTAを用いて効率的な最適化を実現することで、GWAS や混合カテゴリカル・連続変数を含む高次元設定でもスケーラブルで解釈可能な相互作用モデリングが可能になる。

ABSTRACT

We introduce a method for learning pairwise interactions in a manner that satisfies strong hierarchy: whenever an interaction is estimated to be nonzero, both its associated main effects are also included in the model. We motivate our approach by modeling pairwise interactions for categorical variables with arbitrary numbers of levels, and then show how we can accommodate continuous variables and mixtures thereof. Our approach allows us to dispense with explicitly applying constraints on the main effects and interactions for identifiability, which results in interpretable interaction models. We compare our method with existing approaches on both simulated and real data, including a genome wide association study, all using our R package glinternet.

研究の動機と目的

• ペアワイズ相互作用を学習する手法を開発し、相互作用が選択された場合にはその主効果が含まれることを強制する強い階層性を確保すること。
• 特に遺伝学や高次元データにおいて、p >> n の状況下で相互作用モデリングにおけるスケーラビリティと解釈可能性の課題に対処すること。
• カテゴリカル変数（任意の水準数を有する）と連続変数を含む混合変数タイプにおいて、効果的な相互作用学習を可能にすること。
• スクリーニングとグループリッジ正則化の二段階的手法を用いて、相互作用選択における誤発見率を低減すること。
• Rパッケージ（glinternet）を通じて、実世界の応用（例：全ゲノム関連研究）に適した計算効率が高く、解釈可能でスケーラブルなソリューションを提供すること。

提案手法

• 本手法は二段階のアプローチを採用する：まず相互作用候補と主効果をスクリーニングし、次にグループリッジ正則化を適用して階層的相互作用モデルを選択する。
• 主効果とそれに関連する相互作用をグループ化した変数として定式化し、グループリッジペナルティによってグループ全体の選択または非選択を強制することで、強い階層性を確保する。
• グループリッジペナルティは $ \lambda \sum_{i=1}^{p} \| \beta_i \|_2 $ で定義され、ここで $ \beta_i $ はグループ（例：主効果とその相互作用）の係数を表し、ペナルティはグループレベルでのスパarsityを促進する。
• 高速でスケーラブルな最適化を実現するため、FISTA を適応的リスタートで拡張し、高次元設定でも効率的な計算が可能になる。
• スクリーニングは以下の二つの方法で実施される：(1) 深さ2の木を用いたブースティングで、自然に階層性を強制する。 (2) ラッソ用の強力ルールにインspiredした適応的ルールを用い、不要な予測子を早期に除外する。
• 各グループが単位フロベニウスノルムを持つように正規化することで、正則化パrameterのチューニングが簡素化され、一貫したグループペナルティが保証される。

実験結果

リサーチクエスチョン

• RQ1 グループリッジに基づく手法は、強い階層性を保証しつつ、ペアワイズ相互作用を効果的に学習できるか？特に相互作用が選択された場合に主効果が必ず含まれるようにする。
• RQ2 混合カテゴリカルおよび連続変数を含む高次元設定において、提案手法の誤発見率と検出力（パワー）はどの程度か？
• RQ3 全ゲノム関連研究（p > 10^5 の変数、n ~ 数千の観測数）のような大規模データセットにもスケーラブルか？
• RQ4 ブースティングベースのスクリーニングと適応的強力ルールの二つのスクリーニング手順は、計算効率と選択精度の観点でどのように比較できるか？
• RQ5 適応的リスタートを用いたFISTAの使用は、高次元設定におけるグループリッジ最適化の収束速度と安定性を顕著に向上させるか？

主な発見

• 500個の三水準カテゴリカル変数と800件の観測数を含むシミュレーション研究において、glinternetは10個の相互作用を同定後、平均誤発見率が約0.15に留まり、標準誤差も小さいことを確認した。
• 本手法はシミュレーションにおいて真の相互作用構造を的確に回復し、誤発見率が低く、関連する相互作用の検出パワーが高かった。
• glinternetは実際の全ゲノム関連研究に適用され、高次元かつnが小さい生物学的データに対して実用的であることが示された。
• 適応的リスタートを用いたFISTAは、標準FISTAと比較して収束速度が著しく向上し、振動的挙動も低減した。これにより、高次元設定でも高速な最適化が可能になった。
• グループリッジの定式化により、追加の制約なしに自然に強い階層性が保証され、より解釈可能で統計的に妥当な相互作用モデルが得られた。
• スクリーニング手順により、候補相互作用数が $ O(p^2) $ から管理可能なサブセットに削減され、計算上の実行可能性が向上したが、選択精度に悪影響を及げなかった。