[論文レビュー] Investigating Saturation Effects in Integrated Gradients

Vivek Miglani, Narine Kokhlikyan+3 more|arXiv (Cornell University)|Oct 23, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 4

ひとこと要約

この論文は、Integrated Gradients (IG) パスの飽和領域における勾配が、モデル出力の変化が最小限であるにもかかわらず、帰属割り当てに顕著に寄与していることを特定した。本研究では、出力変化が顕著な非飽和領域に統合を制限することで、より高いモデル忠実性と低いノイズ感受性を実現する「スプリット統合勾配（Split Integrated Gradients）」を提案した。ImageNet モデルにおいて、標準的な IG よりも優れた性能を示した。

ABSTRACT

Integrated Gradients has become a popular method for post-hoc model interpretability. De-spite its popularity, the composition and relative impact of different regions of the integral path are not well understood. We explore these effects and find that gradients in saturated regions of this path, where model output changes minimally, contribute disproportionately to the computed attribution. We propose a variant of IntegratedGradients which primarily captures gradients in unsaturated regions and evaluate this method on ImageNet classification networks. We find that this attribution technique shows higher model faithfulness and lower sensitivity to noise com-pared with standard Integrated Gradients. A note-book illustrating our computations and results is available at https://github.com/vivekmig/captum-1/tree/ExpandedIG.

研究の動機と目的

• IG 積分パスに沿った飽和領域と非飽和領域における勾配の寄与度を調査すること。
• 標準的な Integrated Gradients において、飽和領域の勾配が帰属割り当ての品質を歪めないかを評価すること。
• 非飽和領域に焦点を当てた IG の変種を開発し、忠実性と耐性を向上させること。
• ユーザーが飽和状態を評価し、IG 結果を解釈するための実用的ガイダンスを提供すること。

提案手法

• 本手法は、積分パスをモデル出力が飽和する領域を除き、非飽和領域に制限する「スプリット統合勾配」を導入する。
• 基準値から入力への出力変化の割合 ψ（例：90%）を用いて、閾値 α* を定義する。
• 出力変化が最小限に抑える飽和領域を除外し、α ∈ [0, α*] の範囲でのみ積分を実行する。
• 出力変化の大部分が α* 以前に発生するため、完全性の性質は概ね保持される。
• α 沿ってモデル出力と勾配の大きさを可視化することで、飽和状態の特定とパス選択の支援が可能になる。
• ImageNet モデルを用いて、標準 IG とスプリット IG の帰属割り当てを定性的および定量的に比較する。

実験結果

リサーチクエスチョン

• RQ1 IG パスの飽和領域における勾配が、最終的な帰属割り当てにどの程度寄与しているか。
• RQ2 飽和領域の勾配を除外することで、帰属割り当ての忠実性と耐性がどのように変化するか。
• RQ3 飽和領域を除外するように変更された IG パスは、より信頼性が高く解釈可能な帰属割り当てを提供できるか。
• RQ4 基準値の選定やモデルアーキテクチャの違いが、IG における飽和効果にどのように影響するか。

主な発見

• IG パスの飽和領域における勾配は、モデル出力の変化が最小限であるにもかかわらず、最終的な帰属割り当てに顕著に寄与している。
• 非飽和領域に統合を制限するスプリット統合勾配は、標準的な IG よりも高いモデル忠実性を達成する。
• スプリット IG の帰属割り当ては、標準的な IG よりも小さな入力摂動に対して顕著に感受性が低い。
• 出力変化の大部分が飽和前に発生するため、本手法は完全性を概ね維持する。
• α 沿って出力と勾配のパスを可視化することで、飽和状態の特定とより良い帰属割り当ての解釈が可能になる。
• 本研究では、ユーザーが出力パスを確認し、飽和領域と非飽和領域の帰属割り当てを比較することで、帰属割り当ての品質を評価することを推奨する。