[論文レビュー] The (Un)reliability of saliency methods

Pieter-Jan Kindermans, Sara Hooker+6 more|arXiv (Cornell University)|Nov 2, 2017

Explainable Artificial Intelligence (XAI)被引用数 163

ひとこと要約

この論文は、多くのサリエンシー手法が入力不変性に失敗することを示す。単純な入力シフトはモデルに影響を与えずにアトリビューションを変えることがあり、いくつかの参照点手法（PatternAttribution のようなもの）のみが特定の変換下で不変になり得る。

ABSTRACT

Saliency methods aim to explain the predictions of deep neural networks. These methods lack reliability when the explanation is sensitive to factors that do not contribute to the model prediction. We use a simple and common pre-processing step ---adding a constant shift to the input data--- to show that a transformation with no effect on the model can cause numerous methods to incorrectly attribute. In order to guarantee reliability, we posit that methods should fulfill input invariance, the requirement that a saliency method mirror the sensitivity of the model with respect to transformations of the input. We show, through several examples, that saliency methods that do not satisfy input invariance result in misleading attribution.

研究の動機と目的

• 信頼できる説明に不可欠として入力不変性を定義することにより、サリエンシー手法の信頼性を動機づける。
• 一定の入力シフトが、同一のモデル予測にもかかわらずアトリビューションを変えることを示す。
• 勾配法、シグナル法、アトリビューション法など、異なるサリエンシー分類が入力シフト下でどのように振る舞うかを評価する。
• 不変性を達成するうえでの参照点とデータ正規化の役割を強調する。

提案手法

• 入力変換に対するモデルの感度を反映する形で入力不変性を定義する。
• MNIST を用いて、一定のシフトで関連する入力ペアに対する様々な手法のサリエンシーヒートマップを比較する。
• 勾配法、シグナル法、アトリビューション法（GI、IG、DTD）を、異なる参照点の下で入力不変性について評価する。
• 異なる参照点（ゼロ、ブラック画像、PAベースライン、LRP）がアトリビューションの不変性に与える影響を分析する。
• データ正規化が一部の手法において入力不変性を満たすのに役立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 共通のサリエンシー手法は、一定のシフトのような単純な入力変換に対して入力不変性を満たすか。
• RQ2 勾配法、シグナル法、およびアトリビューションベースの手法は、入力不変性の点でどう比較されるか。
• RQ3 Integrated Gradients や Deep Taylor Decomposition などのアトリビューション手法の信頼性に対する参照点の選択の影響は何か。
• RQ4 データ正規化はサリエンシー手法の入力不変性の欠陥を緩和できるか。

主な発見

• 多数のサリエンシー手法は、入力が定数ベクトルでシフトされると入力不変性を満たさず、予測を変えずにアトリビューションを変更する。
• 勾配法とシグナル法（生の勾配、PatternNet、Guided Backpropを含む）は、同一の重みを持つネットワークを比較する場合不変になることがあるが、アトリビューション手法は参照点に依存して失敗することがある。
• Gradient times input は平均シフトに敏感で、入力不変性を満たさない。
• Integrated Gradients および Deep Taylor Decomposition は選択された参照点に依存し、不変性は特定の参照点と変換のみで達成される。
• PatternAttribution は、データ共分散を取り込むため、検討されたシフトの下で一貫して入力不変性を満たす。
• SmoothGrad は元の手法の感度を受け継ぎ、いくつかの参照点では不変性を欠く可能性があるが、PA やブラック画像の参照点では不変になり得る。