[論文レビュー] Rethinking the Role of Gradient-Based Attribution Methods for Model Interpretability

Suraj Srinivas, François Fleuret|arXiv (Cornell University)|Jun 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用数 7

ひとこと要約

本稿は、深層学習における勾配ベースの帰属割り当て手法が、識別モデルの意思決定関数に本質的に結びついているのではなく、クラス条件付きデータ分布の暗黙的な生成モデルを反映していることを示している。スコアマッチングを用いてこの暗黙の密度モデルを真のデータ分布と一致させることで、著者らは勾配説明がより構造的で説明的になることを示し、類似性マップの信頼性が訓練中に意図しない密度一致に起因するのではなく、識別関数の直接的な解釈可能性に起因するのではなく、その逆である可能性を示唆している。

ABSTRACT

Current methods for the interpretability of discriminative deep neural networks commonly rely on the model's input-gradients, i.e., the gradients of the output logits w.r.t. the inputs. The common assumption is that these input-gradients contain information regarding $p_θ ( y \mid x)$, the model's discriminative capabilities, thus justifying their use for interpretability. However, in this work we show that these input-gradients can be arbitrarily manipulated as a consequence of the shift-invariance of softmax without changing the discriminative function. This leaves an open question: if input-gradients can be arbitrary, why are they highly structured and explanatory in standard models? We investigate this by re-interpreting the logits of standard softmax-based classifiers as unnormalized log-densities of the data distribution and show that input-gradients can be viewed as gradients of a class-conditional density model $p_θ(x \mid y)$ implicit within the discriminative model. This leads us to hypothesize that the highly structured and explanatory nature of input-gradients may be due to the alignment of this class-conditional model $p_θ(x \mid y)$ with that of the ground truth data distribution $p_{ ext{data}} (x \mid y)$. We test this hypothesis by studying the effect of density alignment on gradient explanations. To achieve this alignment we use score-matching, and propose novel approximations to this algorithm to enable training large-scale models. Our experiments show that improving the alignment of the implicit density model with the data distribution enhances gradient structure and explanatory power while reducing this alignment has the opposite effect. Overall, our finding that input-gradients capture information regarding an implicit generative model implies that we need to re-think their use for interpreting discriminative models.

研究の動機と目的

• 勾配ベースの帰属割り当て手法が、理論的にはモデル性能に影響を与えないように変更可能であるにもかかわらず、なぜ高構造的で直感的な説明を生み出すのかを調査すること。
• 入力勾配の説明力が、暗黙のクラス条件付き密度モデルと真のデータ分布との間の一致に起因するかどうかを検証すること。
• 大規模な訓練において密度一致を制御可能なモデルを訓練するための実用的なスコアマッチング近似を構築すること。
• 識別関数の解釈ではなく、暗黙の密度モデリングの観点から、一般的な解釈可能ツール（類似性マップやピクセルの除去）を再評価すること。

提案手法

• 標準的なソフトマックス分類器のログイットを、未正規化された対数密度と解釈することで、識別ネットワーク内に暗黙のクラス条件付き密度モデル pθ(x|y) を明らかにする。
• スコアマッチングを用いて、暗黙の密度モデルと真のデータ分布 p_data(x|y) 間の制御された一致を実現するモデルの訓練を行う。
• 高価なヘッセ行列計算を回避するスコアマッチングの新たな近似手法を提案し、大規模モデルでの訓練を可能にする。
• 勾配ノルム正則化を暗黙の密度モデリングの代理として導入し、明示的な密度訓練なしに勾配の構造を改善することを示す。
• 定量的なピクセル除去テストと、さまざまなモデルにおける勾配マップの定性的な可視化を用いて、勾配説明を評価する。
• 密度一致の効果を隔離するために、ベースライン、スコアマッチド、アンチスコアマッチド、勾配ノルム正則化済みモデルからの入力勾配を比較する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスのシフト不変性のため、入力勾配はモデル性能に影響を与えないように任意に操作可能であるか？
• RQ2 標準的な事前学習済みモデルにおける入力勾配は、理論的には任意に定義可能であるにもかかわらず、なぜ一貫して構造的で直感的なものとなるのか？
• RQ3 暗黙の密度モデルと真のデータ分布との一致を向上させることで、入力勾配の構造性と説明力が向上するか？
• RQ4 スコアマッチングと勾配ノルム正則化を用いて、実際の勾配ベースの説明の質を制御可能か？

主な発見

• ソフトマックスのシフト不変性のおかげで、入力勾配はモデル性能に影響を与えることなく任意に操作可能であり、それらの非一意性を示している。
• スコアマッチドモデルは、定性的な可視化と定量的なピクセル除去テストの両方で、ベースラインモデルと比較して著しく構造的で説明的である入力勾配を生成している。
• 密度一致を低下させるアンチスコアマッチドモデルは、最もノイズが多く、解釈不能な勾配を生成しており、密度一致が説明品質を向上させるという仮説を裏付けている。
• 勾配ノルム正則化済みモデルも、ベースラインよりより直感的な勾配を生成しており、重み減衰や最適化ダイナミクスによる暗黙の密度モデリングの可能性を示唆している。
• 標準的なResNetを解釈する際、スコアマッチドおよび勾配ノルム正則化済みモデルの勾配は、ベースラインモデル自身の勾配よりも、関連の薄いピクセルをよりよく特定している。
• これらの結果は、標準モデルにおける入力勾配の信頼性が、識別関数の直接的な解釈性ではなく、訓練中に意図しない密度一致に起因する可能性があることを示唆している。