[論文レビュー] Axiomatic Attribution for Deep Networks

Mukund Sundararajan, Ankur Taly+1 more|arXiv (Cornell University)|Mar 4, 2017

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 2,626

ひとこと要約

本論文は深層ネットワークの特徴寄与を表す二つの公理—SensitivityとImplementation Invariance—を定義し、これらの公理とCompletenessを満たす勾配ベースの手法 Integrated Gradients を提案するとともに、パス法の中でのその唯一性を正当化する。

ABSTRACT

We study the problem of attributing the prediction of a deep network to its input features, a problem previously studied by several other works. We identify two fundamental axioms---Sensitivity and Implementation Invariance that attribution methods ought to satisfy. We show that they are not satisfied by most known attribution methods, which we consider to be a fundamental weakness of those methods. We use the axioms to guide the design of a new attribution method called Integrated Gradients. Our method requires no modification to the original network and is extremely simple to implement; it just needs a few calls to the standard gradient operator. We apply this method to a couple of image models, a couple of text models and a chemistry model, demonstrating its ability to debug networks, to extract rules from a network, and to enable users to engage with models better.

研究の動機と目的

• 寄与推定の問題を動機づける：深層ネットワークの入力特徴に予測のクレジットを割り当てる。
• 寄与推定手法のための二つの基本公理（SensitivityとImplementation Invariance）を提案する。
• 公理を満たし実装が容易な新しい寄与推定手法を設計する。

提案手法

• Integrated Gradients を、基準入力から入力への直線的パスに沿った勾配のパス積分として定義する。
• Completenessを証明する：寄与の総和は F(x) - F(x') に等しい。
• Integrated Gradients が Sensitivity(a) および Implementation Invariance を満たす（したがって Sensitivity も満たす）ことを示す。
• 主要公理を満たす唯一のクラスとして Path Methods を主張し、Integrated Gradients を直線パスの標準的なメンバーとする。
• 有限個の勾配評価（ステップ m）で積分を近似する方法を議論する。
• 基準値の選択と実用的な計算上の考慮事項についての指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの説明手法はどのような寄与特性を満たすべきか？
• RQ2 実装不変性と入力の変化に対する感度の両方を満たす寄与推定手法を設計できるか？
• RQ3 核となる公理を満たし、計算が実用的な典型的な勾配ベースの寄与推定手法は存在するか？

主な発見

• Integrated Gradients は寄与が F(x) - F(x′) の差に等しくなる寄与を提供する（Completeness）。
• この手法は Sensitivity と Implementation Invariance を満たし、従来手法の弱点に対応する。
• Path methods は前述の公理を満たす唯一の能力を持つとされ、Integrated Gradients は直線パスの標準的な実装である。
• 基準値は意味のある寄与推定には重要な要素であり、実用的な近似はパスに沿って有限個の勾配評価を用いる。
• Integrated Gradients は 20 から 300 の勾配評価で効率的に計算でき、画像・テキスト・化学モデルにも適用できる。