[論文レビュー] Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods

Ashkan Khakzar, Soroosh Baselizadeh+1 more|arXiv (Cornell University)|Dec 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 4

ひとこと要約

本稿では、GradCAM++、FullGrad、LRP、およびガイドドバックプロパゲーションで一般的に用いられる勾配の正の集約および伝播が、これらの手法がモデルの予測やパラメータのランダム化に対して感受性を欠くことを示している。著者らは、ReLUに基づく正のフィルタリングを全勾配処理に置き換えることで、類似性マップがクラスに依存し、モデルに依存するようになることを示しており、従来の手法が主に視覚的注目度を回復しているだけであり、モデル行動の説明にはなっていないことが明らかになった。

ABSTRACT

Saliency methods interpret the prediction of a neural network by showing the importance of input elements for that prediction. A popular family of saliency methods utilize gradient information. In this work, we empirically show that two approaches for handling the gradient information, namely positive aggregation, and positive propagation, break these methods. Though these methods reflect visually salient information in the input, they do not explain the model prediction anymore as the generated saliency maps are insensitive to the predicted output and are insensitive to model parameter randomization. Specifically for methods that aggregate the gradients of a chosen layer such as GradCAM++ and FullGrad, exclusively aggregating positive gradients is detrimental. We further support this by proposing several variants of aggregation methods with positive handling of gradient information. For methods that backpropagate gradient information such as LRP, RectGrad, and Guided Backpropagation, we show the destructive effect of exclusively propagating positive gradient information.

研究の動機と目的

• 視覚的に妥当なマップを生成しているにもかかわらず、人気のある勾配ベースの類似性マップ手法がなぜモデルの予測を説明できないのかを調査すること。
• 正の集約および伝播がクラス感受性およびモデルパラメータのランダム化に対する感受性に与える影響を評価すること。
• 勾配の符号情報を保持する代替の集約および伝播手法を提案・検証すること。
• 正の勾配のみを扱うことで、類似性マップがモデル行動ではなく入力画像の特徴を反映することを実証的に検証すること。
• GradCAM++、LRP、ガイドドバックプロパゲーションといった広く使われている類似性マップ手法が、モデル解釈の目的には信頼できないことを示すこと。

提案手法

• ReLUに基づく正の集約を絶対値または符号保持型集約に置き換えることで、勾配の符号情報を保持するように変更した類似性マップ手法のバリエーションを提案した。
• 両方の正負の勾配が逆伝播できるように、伝播ルールに絶対値を用いる修正版RectGrad（RectGrad_Mod）を導入した。
• LRP-γ=0（γ=0）を用いることで、関連性伝播における正の寄与へのバイアスを排除した。
• 異なる出力予測におけるクラス感受性を評価するために、ポイントイングゲームおよび制限付きポイントイングゲームを適用した。
• モデルパラメータのランダム化に対するセンチネルチェックを実施し、モデル変更に対する感受性をテストした。
• Rebuffiら（2020年）のクラス感受性指標を用いて、異なる予測クラスに対する類似性マップの相関を測定した。

実験結果

リサーチクエスチョン

• RQ1 GradCAM++ や FullGrad のような手法における勾配の正の集約が、モデル予測を説明する能力を損なうのか？
• RQ2 モデルパラメータのランダム化後に、正の勾配伝播手法から得られる類似性マップがどれほど変化しないのか？
• RQ3 負の勾配情報の含みが、類似性マップにおけるクラス感受性にどのように影響するか？
• RQ4 LRP や RectGrad、ガイドドバックプロパゲーションといった手法は、実際に予測出力クラスに感受性があるのか、それとも単に視覚的注目度を回復しているだけなのか？
• RQ5 勾配符号を保持する代替の集約および伝播ルールを採用することで、類似性説明の信頼性が向上するのか？

主な発見

• GradCAM++ および FullGrad のバリエーションにおける正の集約は、クラス感受性指標が低く、全クラスでポイントイングゲームの正確性が高いため、予測出力クラスに対して感受性がない類似性マップを生じる。
• ガイドドバックプロパゲーション、RectGrad、LRP-γ=∞ といった正の伝播手法からの類似性マップは、モデルパラメータのランダム化後も視覚的に類似したままであり、モデルの変更に対して感受性がないことを示している。
• 対応する手法（例：勾配、RectGrad_Mod、LRP-0）は、モデルパラメータのランダム化に対して顕著に感受性を示しており、正の伝播のみが感受性欠如の根本的原因であることが確認された。
• クラス感受性指標の結果から、正の伝播手法（例：ガイドドバックプロパゲーション、LRP-γ=∞）はスピアマン相関値が1.0に近いことが判明し、異なる予測に対して類似した類似性マップを生成していることが示された。
• 制限付きポイントイングゲームの結果、正の伝播手法は予測クラスに関係なく同じ物体クラスを指している一方、対応する手法ではこの状況で正確性が低下しており、真のクラス感受性が確認された。
• 絶対値を用いたRectGradの修正や、LRPにおけるγ=0の設定といった提案された変更により、モデルパラメータおよび予測クラスの両方に対して感受性が回復された。これは、勾配符号の保持が信頼できる帰属割り当てに不可欠であることを示している。