[論文レビュー] Detecting Statistical Interactions from Neural Network Weights

Michael Tsang, Dehua Cheng+1 more|arXiv (Cornell University)|May 14, 2017

Anomaly Detection Techniques and Applications参考文献 54被引用数 34

ひとこと要約

本稿では、統計的相互作用を、相互作用候補の指数的探索を回避するため、学習済み重み行列の分析によってフィードフォワードニューラルネットワークで検出する、ニューラル相互作用検出（NID）という新しいフレームワークを提案する。非線形活性化関数の効果と隠れユニットの重要度の近似を活用することで、NIDは、Additive Grovesのような先行手法よりも、オーダー数の桁違いに高速である一方で、最先端の相互作用検出精度を達成する。

ABSTRACT

Interpreting neural networks is a crucial and challenging task in machine learning. In this paper, we develop a novel framework for detecting statistical interactions captured by a feedforward multilayer neural network by directly interpreting its learned weights. Depending on the desired interactions, our method can achieve significantly better or similar interaction detection performance compared to the state-of-the-art without searching an exponential solution space of possible interactions. We obtain this accuracy and efficiency by observing that interactions between input features are created by the non-additive effect of nonlinear activation functions, and that interacting paths are encoded in weight matrices. We demonstrate the performance of our method and the importance of discovered interactions via experimental results on both synthetic datasets and real-world application datasets.

研究の動機と目的

• フィードフォワードニューラルネットワークにおける統計的相互作用を、効率的かつ正確に検出するための手法を開発すること。
• 可能な相互作用の組み合わせの指数的空間を全探索するという計算上の非現実性を克服すること。
• 後処理による説明やモデル蒸留に依存せずに、ニューラルネットワークの重みを直接解釈することで特徴の相互作用を解明すること。
• 科学的および臨床的応用を想定し、任意の順序や形態（高次および非線形）の相互作用を効果的に発見できることを可能にすること。

提案手法

• NIDは、非線形活性化関数の非加法的効果が重み行列に与える影響を分析することで相互作用を特定する。
• 各隠れユニットの上にあるすべての重みを用いて隠れユニットの重要度を近似し、入力重み行列の2次元走査を効率化する。
• 順序が可変な相互作用項を含む一般化線形モデルを用いて、上位K件の真の相互作用をランク付け・選択する。
• 任意の順序の相互作用を考慮する特別な形の線形モデルを用いて、相互作用の重要度を計算する。
• 上位r件の再現率という指標を用いて、相互作用のランク付けの質を評価し、冗長性を避けるためにスーパーセット相互作用に限定する。
• 計算量を削減しながらも高い検出精度を維持するため、カットオフ戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 すべての可能な相互作用の組み合わせを全探索することなく、ニューラルネットワーク内の統計的相互作用を検出できるか？
• RQ2 重みの解釈に基づく手法が、最先端のアプローチと比較してどの程度の精度で相互作用を検出できるか？
• RQ3 本フレームワークは、複雑な特徴依存関係が存在する中でも、高次および非線形相互作用を効果的に検出できるか？
• RQ4 Additive Grovesのような計算コストの高い代替手法と比較して、本手法の実行時間はどの程度スケーリングするか？
• RQ5 特徴の相関関係や相互に絡んだ相互作用が、検出された相互作用の信頼性にどの程度影響を及えるか？

主な発見

• NIDは、特に低〜中程度のノイズレベルにおいて、最先端の手法であるAdditive Groves（AG）と同等の上位ランク再現率を達成する。
• NIDはAGに比べてオーダー数の桁違いに高速であり、同じタスクにおいてAGは数時間かかるのに対し、NIDは数秒で実行される。
• 合成データセットでは、NIDは2次相互作用検出においてAUCが1.0を達成しており、真の相互作用と偽の相互作用を完全に区別できることを示している。
• 実世界のデータセット（医療や金融分野のものも含む）では、NIDは予測性能を顕著に向上させる少数の高次相互作用を検出する。
• フレームワークは、わずかな数の検出された相互作用が顕著な予測性能の向上をもたらすことを示しており、ベースラインモデルとの相対的な性能向上が確認されている。
• 相互に絡んだ2次相互作用が高次相互作用として誤検出されるという制限があるものの、NIDは一般的な交絡要因に対しても高い性能を維持しており、頑健性が裏付けられている。