[論文レビュー] The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions

Raj Agrawal, Jonathan H. Huggins+2 more|arXiv (Cornell University)|May 16, 2019

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

本稿では、ガウス過程を用いてすべての2項相互作用を暗黙的に表現することで、高次元データにおける2項相互作用のスケーラブルなベイズ的手法、すなわちカーネル相互作用トリックを導入する。これにより、1回のMCMC反復あたりO(pN² + N³)の時間計算量が達成され、ナイーブなベイズ推論と比較して桁違いの高速化が達成され、タイプIおよびタイプIIエラーを低減するLASSOベースの手法を上回る。また、スパarsityと不確実性の定量化を維持する。

ABSTRACT

Discovering interaction effects on a response of interest is a fundamental problem faced in biology, medicine, economics, and many other scientific disciplines. In theory, Bayesian methods for discovering pairwise interactions enjoy many benefits such as coherent uncertainty quantification, the ability to incorporate background knowledge, and desirable shrinkage properties. In practice, however, Bayesian methods are often computationally intractable for even moderate-dimensional problems. Our key insight is that many hierarchical models of practical interest admit a particular Gaussian process (GP) representation; the GP allows us to capture the posterior with a vector of O(p) kernel hyper-parameters rather than O(p^2) interactions and main effects. With the implicit representation, we can run Markov chain Monte Carlo (MCMC) over model hyper-parameters in time and memory linear in p per iteration. We focus on sparsity-inducing models and show on datasets with a variety of covariate behaviors that our method: (1) reduces runtime by orders of magnitude over naive applications of MCMC, (2) provides lower Type I and Type II error relative to state-of-the-art LASSO-based approaches, and (3) offers improved computational scaling in high dimensions relative to existing Bayesian and LASSO-based approaches.

研究の動機と目的

• 高次元設定における2項相互作用モデルのベイズ推論の計算的非実行可能性を解消すること。
• O(p²)の計算コストを、O(p)のカーネルハイパーパrameterを有するガウス過程による表現によって低減すること。
• 1反復あたりpに関して線形時間および線形記憶量の計算複雑性を達成する、ハイパーパrameterに関する効率的なMCMCサンプリングを可能にすること。
• LASSOベースの手法と比較して、統計的パワーを向上させ、誤検出および見逃しを低減すること。
• 高次元データにスケーラブルでありながら、不確実性の定量化を保持する、一般化されたスパース相互作用同定フレームワークを提供すること。

提案手法

• すべての2項相互作用を暗黙的にエンコードする特殊なカーネルを備えたガウス過程（GP）を用いて、完全な相互作用モデルを表現する。
• GPカーネルを用いることで、全精度行列の明示的計算および逆行列計算を回避し、時間計算量をO(p²N²)からO(pN² + N³)に削減する。
• すべてのO(p²)係数を格納・処理しないで、選択された主効果および相互作用の事後平均および分散の要約を計算するためのカーネル相互作用トリックを開発する。
• GPカーネルハイパーパrameterに階層的スリミング事前分布を適用し、選択された相互作用および主効果におけるスパarsityを誘導する。
• O(p²)の回帰係数ではなく、O(p)のカーネルハイパーパrameterの上でのMCMCを実行する。
• 同じGPベースの表現を用いて、高次元のマルチウェイ相互作用へとフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、2項相互作用のためのベイズ推論が計算的に実行可能になるか。
• RQ2 ガウス過程表現により、事後推論の計算コストをO(p²)パラメータからO(p)パラメータに低減できるか。
• RQ3 提案手法が、最先端のLASSOベースの手法と比較して、より良好な誤差制御（低減されたタイプIおよびタイプIIエラー）を達成するか。
• RQ4 不確実性の定量化を保持したまま、高次元pおよび大規模Nの両方の状況で効率的にスケーリングできるか。
• RQ5 カーネル相互作用トリックは、すべての相互作用項を明示的に格納しないで、正確な事後計算を可能にするか。

主な発見

• 提案手法は、相互作用モデルへのナイーブなMCMC適用と比較して、実行時間を桁違いに短縮する。
• 合成データセットでは、SKIMはPLASSOおよびHLASSOと比較して、タイプIおよびタイプIIエラー率が低く、ビルディングデータセットでは3:0の正確な主効果および2項効果の選択を達成する。
• ノイズ共変数を追加したAuto MPGデータセットでは、SKIMは元の3つの主効果および1つの相互作用のみを同定し、誤検出はゼロであるが、LASSOベースの手法は78〜99個の偽の相互作用を同定する。
• 1MCMC反復あたりpに関して線形時間計算量を維持するため、高次元設定でもスケーラブルな推論が可能である。
• カーネル相互作用トリックにより、すべてのO(p²)相互作用項を明示的に計算または格納しないで、選択された効果の正確な事後平均および分散の計算が可能である。
• 実験的結果から、特に真の効果を検出する能力と偽発見の回避において、LASSOベースの手法を上回る精度と頑健性を示す。