[論文レビュー] Learning Global Pairwise Interactions with Bayesian Neural Networks

Tianyu Cui, Pekka Marttinen+1 more|arXiv (Cornell University)|Jan 24, 2019

Gaussian Processes and Bayesian Inference参考文献 34被引用数 18

ひとこと要約

本稿では、ベイジアンニューラルネットワーク（BNN）を用いて、非パrametricな確率的手法として、ベイジアングループ期待ヘッシアン（GEH）を提案する。GEHは、データクラスタ内の局所的ヘッシアンに基づく相互作用を統合することで、不確実性を伴うグローバルな解釈可能な相互作用検出を実現し、より良いBNNと併用することで性能が向上する。従来の非確率的手法を上回り、深層学習で学習された高レベル特徴間の解釈可能な相互作用の発見を可能にする。

ABSTRACT

Estimating global pairwise interaction effects, i.e., the difference between the joint effect and the sum of marginal effects of two input features, with uncertainty properly quantified, is centrally important in science applications. We propose a non-parametric probabilistic method for detecting interaction effects of unknown form. First, the relationship between the features and the output is modelled using a Bayesian neural network, capable of representing complex interactions and principled uncertainty. Second, interaction effects and their uncertainty are estimated from the trained model. For the second step, we propose an intuitive global interaction measure: Bayesian Group Expected Hessian (GEH), which aggregates information of local interactions as captured by the Hessian. GEH provides a natural trade-off between type I and type II error and, moreover, comes with theoretical guarantees ensuring that the estimated interaction effects and their uncertainty can be improved by training a more accurate BNN. The method empirically outperforms available non-probabilistic alternatives on simulated and real-world data. Finally, we demonstrate its ability to detect interpretable interactions between higher-level features (at deeper layers of the neural network).

研究の動機と目的

• 複雑で非線形なデータにおけるグローバルなペアワイズ相互作用を検出する既存手法に、不確実性の定量化が欠けているという問題に対処すること。
• 事前に相互作用の形を指定する必要のない、ローカルな相互作用手法とは異なり、グローバルな相互作用を検出する手法を開発すること。
• 深層ニューラルネットワークが学習する高レベル特徴間の相互作用を解釈可能に検出できること。
• より良好にキャリブレーションされたベイジアンニューラルネットワークを用いることで、相互作用推定が改善することを理論的に保証すること。
• 統計的誤差制御と解釈可能性が重要な科学的発見に実用的かつスケーラブルなアプローチを提供すること。

提案手法

• 入力と出力の関係をベイジアンニューラルネットワーク（BNN）でモデル化することで、複雑な相互作用の柔軟で非パrametricな表現と不確実性の定量化を可能にする。
• BNNの予測関数のヘッシアン行列を用いて、各データポイントにおける2次相互作用（局所的相互作用効果）を計算する。
• グループベースの平均化方式を用いて、データクラスタ全体にわたる局所的ヘッシアンに基づく相互作用スコアを統合し、グローバルなペアワイズ相互作用を推定する。
• L2距離を用いたクラスタリングにより、入力空間を領域に分割し、局所的相互作用をグローバルな測度に堅牢に統合する。
• ベイジアングループ期待ヘッシアン（GEH）の事後分布を用いて、相互作用推定の不確実性を定量化し、仮説検定を可能にする。
• 深層ネットワークの階層的構造を活用し、より深い層のノードなどの高レベル特徴間の相互作用を検出し、解釈可能にする。活性化最大化を用いて解釈を支援する。

実験結果

リサーチクエスチョン

• RQ1 特定の関数形を仮定せずに、非パrametricで確率的手法でグローバルなペアワイズ相互作用を検出可能か？
• RQ2 相互作用推定の不確実性を適切に定量化することで、統計的仮説検定が可能になるか？
• RQ3 より正確なベイジアンニューラルネットワークを訓練することで、相互作用検出が向上するか？
• RQ4 深層学習で学習された高レベル特徴間の相互作用を検出し、意味的に解釈可能にできるか？
• RQ5 本手法は、従来の非確率的相互作用検出手法に比べ、正確性と頑健性の面で優れているか？

主な発見

• 提案されたベイジアンGEH手法は、シミュレートデータおよび実世界のデータセットにおいて、非確率的最先端手法を上回り、グローバルなペアワイズ相互作用の検出において優れた性能を示した。
• 本手法は相互作用効果の不確実性推定を提供しており、クラスタ数の調整によって第一種および第二種の誤りの自然なトレードオフを実現できる。
• GEH推定は、より良好にキャリブレーションされたBNNを用いることで向上するが、これは従来の深層学習ベースの相互作用検出手法では保証されない理論的利点である。
• 本手法は、MNISTにおいて「左に7がある」と「右に0がある」といった高レベル特徴間の解釈可能な相互作用を効果的に検出でき、人間の直感と一致した。
• MNISTの実験では、各タスクで最も強い相互作用として検出されたペアは、正確に正例クラス（例：(7,0) および (5,3)）と一致しており、活性化最大化による確認が得られた。
• ヒューリスティックなクラスタ数選択を用いたL2距離によるクラスタリングは一貫して良好な性能を示したが、相互作用を考慮した距離計測の代替指標を用いることで、さらなる性能向上が期待できる。