[論文レビュー] Explaining Explanations: Axiomatic Feature Interactions for Deep Networks

Joseph D. Janizek, Pascal Sturmfels+1 more|arXiv (Cornell University)|Feb 10, 2020

Explainable Artificial Intelligence (XAI)被引用数 49

ひとこと要約

この論文は Integrated Hessians を導入し、神経網のペアワイズ特徴相互作用を説明する拡張版の Integrated Gradients。任意のアーキテクチャに適用可能で、ReLU ネットワーク向けの公理と平滑化、相互作用検出を従来法より改善を示す。

ABSTRACT

Recent work has shown great promise in explaining neural network behavior. In particular, feature attribution methods explain which features were most important to a model's prediction on a given input. However, for many tasks, simply knowing which features were important to a model's prediction may not provide enough insight to understand model behavior. The interactions between features within the model may better help us understand not only the model, but also why certain features are more important than others. In this work, we present Integrated Hessians, an extension of Integrated Gradients that explains pairwise feature interactions in neural networks. Integrated Hessians overcomes several theoretical limitations of previous methods to explain interactions, and unlike such previous methods is not limited to a specific architecture or class of neural network. Additionally, we find that our method is faster than existing methods when the number of features is large, and outperforms previous methods on existing quantitative benchmarks. Code available at https://github.com/suinleelab/path_explain

研究の動機と目的

• 特徴間の相互作用が個々の特徴寄与を超えたニューラルネットワーク挙動の理解を深めることを動機づける。
• ニューラルネットワークにおける対になった特徴相互作用を定量化する普遍的で公理的なアプローチを提案する。
• 再学習なしに、ベースラインから x への経路に沿った二階微分を用いた平滑化を通じて ReLU ベースのネットワークの相互作用を計算する体系だった方法を提供する。
• 既存の相互作用説明と方法を対比して方法を評価し、様々な領域で実践的な利点を示す。

提案手法

• Γi,j(x) を、入力特徴 i の重要性を特徴 j の観点から説明する相互作用説明として、寄与関数に対して Integrated Gradients を適用することで定義する。
• 基底線から x への経路上の f の二階偏微分の二重積分を用いて Γi,j(x) を導出する。
• 相互作用の完全性、自身の完全性、相互作用対称性などの公理を課し、議論する。
• ReLU ネットワークを SoftPlus で活性化を平滑化して二次微分を可能にし、理論と近似の実践的指針を提供する。
• Integrated Gradients の基底線選択に対処するために複数の基底線で平均化する。
• 平滑化が再学習なしに計算と解釈を助けるという理論結果と実証的証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 Integrated Gradients を拡張して、ニューラルネットワークにおける対となる特徴相互作用を定量化できるか。
• RQ2 提案された相互作用値は、寄与法と同様の常識的な公理（完全性や対称性など）を満たすか。
• RQ3 統合 Hessians は、既存の相互作用法と比較して真の相互作用を特定する上でどの程度優れているか。
• RQ4 再学習せずに ReLU ベースのネットワークに対して活性化を平滑化して適用できるか、実践的な利点は何か。
• RQ5 NLP や薬物反応予測のような現実のタスクで、相互作用の説明が得られる実践的な利点は何か。

主な発見

• Integrated Hessians は、ニューラルネットワークにおける対になる特徴相互作用を定量化するための原理的でアーキテクチャに依存しない手法を提供する。
• この手法は、相互作用の完全性、自身の完全性、および相互作用対称性など、他の公理を満たす。
• ReLU を SoftPlus に置換することで、再学習なしに二次微分ベースの相互作用計算を可能にし、近似特性も有利になる。
• 実証評価では、統合 Hessians がシミュレーションデータや健全性チェックで既存の手法より重要な相互作用を特定するのに優れていることを示す。
• NLP や薬物組み合わせデータの適用は、相互作用が第一次寄与だけでは明らかでないパターンを明らかにすることを示す。