[論文レビュー] When Explanations Lie: Why Many Modified BP Attributions Fail

Leon Sixt, Maximilian Granz+1 more|arXiv (Cornell University)|Dec 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 47被引用数 42

ひとこと要約

この論文は、ほとんどの修正後の逆伝播寄与法が層をまたいで単一の支配的方向（ランク-1）に崩壊することを示し、説明は後層のパラメータとほぼ無関係になることを示している。DeepLIFTは顕著な例外。コサイン類似性収束（CSC）指標を導入し、この挙動を診断する。

ABSTRACT

Attribution methods aim to explain a neural network's prediction by highlighting the most relevant image areas. A popular approach is to backpropagate (BP) a custom relevance score using modified rules, rather than the gradient. We analyze an extensive set of modified BP methods: Deep Taylor Decomposition, Layer-wise Relevance Propagation (LRP), Excitation BP, PatternAttribution, DeepLIFT, Deconv, RectGrad, and Guided BP. We find empirically that the explanations of all mentioned methods, except for DeepLIFT, are independent of the parameters of later layers. We provide theoretical insights for this surprising behavior and also analyze why DeepLIFT does not suffer from this limitation. Empirically, we measure how information of later layers is ignored by using our new metric, cosine similarity convergence (CSC). The paper provides a framework to assess the faithfulness of new and existing modified BP methods theoretically and empirically. For code see: https://github.com/berleon/when-explanations-lie

研究の動機と目的

• 一般的なアーキテクチャ（VGG-16、ResNet-50）とデータセット（CIFAR-10、ImageNet）に跨る修正BP寄与法の忠実性を評価する。
• 多数の修正BP規則が正当性チェックやクラス感度テストに失敗する理由を説明する。
• 逆伝播ベースの説明におけるランク-1行列への収束を診断するための理論的および実証的ツールを提供する。
• 修正BP法を信頼できる場合と改訂を要する場合についての指針を提供する。

提案手法

• 前提条件の下で z+ ルールが層間で非負の行列積を生み、ランク-1行列へ収束することを示す理論分析。
• コサイン類似性収束（CSC）指標の定義と、層間の寄与ベクトルの収束を定量化するための利用。
• ネットワーク（VGG-16、ResNet-50）およびデータセット（CIFAR-10、ImageNet）上で、ランダムロジットおよびパラメータランダム化の正当性チェックを用いた実証評価。
• 複数の修正BP法（LRP variants, Deep Taylor Decomposition, PatternAttribution, DeepLIFT, Guided BP, Deconv, RectGrad）の比較と、DeepLIFTを例外として特定。
• PatternAttributionとPatternNetを特異値比で分析し、収束挙動を理解する。
• 正と負の連鎖を分離するDeepLIFTのアブレーション変異を導入し、収束特性を示す。

実験結果

リサーチクエスチョン

• RQ1 修正BP寄与法は後層のパラメータに依存する説明を生成するか。
• RQ2 これらの手法は層を横断して一般に単一の支配的な方向に収束し、クラス感度を低減するか。
• RQ3 DeepLIFTがランク-1への収束を回避する理由は何か、そしてそれから得られる知見は他の手法を改善できるか。
• RQ4 CSCのような指標は収束と寄与法の忠実性を信頼できる診断指標になり得るか。

主な発見

• ほとんどの修正BP法（DeepLIFTを除く）はランク-1行列へ収束し、後層に対する説明が鈍感になる。
• z+ ルールおよび関連手法は、前述の条件下で非負の行列連鎖を生み、その積はランク-1行列へと収束する。
• CSC は、層を横断する寄与連鎖で後層からの情報がどのように失われるかを効果的に追跡する。
• DeepLIFT は同じ収束には従わず、正/負分離の規則の下でランク-1収束を回避できる。
• 負の関連性は、いくつかの収束的手法には欠けている重要な要因として特定され、クラス感度を改善する潜在的道を示唆している。
• 複数のアーキテクチャにわたり、最後の層のパラメータを変更したりロジットをランダム化した場合、収束する手法は顕著に類似したサリエンシーマップを生成する。