[論文レビュー] A Simple Saliency Method That Passes the Sanity Checks

Arushi Gupta, Sanjeev Arora|arXiv (Cornell University)|May 27, 2019

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 5

ひとこと要約

本論文は、既存のアトリビューション手法に単純ながら効果的な修正を提案する。すなわち、予測クラスに限らず、すべてのクラスのログティトから勾配を組み込むことで、有効性を向上させる「ピクセルの競争（competition for pixels）」という手法である。この手法は、Competitive Gradient × Input（CGI）として実装され、パラメータおよびデータのランダム化といった標準的な整合性テストを通過しながら、意味のあるアトリビューションマップを維持する。トレーニングを必要とせず、堅牢で効率的なアトリビューション手法の修正手法を提供する。

ABSTRACT

There is great interest in "saliency methods" (also called "attribution methods"), which give "explanations" for a deep net's decision, by assigning a "score" to each feature/pixel in the input. Their design usually involves credit-assignment via the gradient of the output with respect to input. Recently Adebayo et al. [arXiv:1810.03292] questioned the validity of many of these methods since they do not pass simple *sanity checks* which test whether the scores shift/vanish when layers of the trained net are randomized, or when the net is retrained using random labels for inputs. We propose a simple fix to existing saliency methods that helps them pass sanity checks, which we call "competition for pixels". This involves computing saliency maps for all possible labels in the classification task, and using a simple competition among them to identify and remove less relevant pixels from the map. The simplest variant of this is "Competitive Gradient $\odot$ Input (CGI)": it is efficient, requires no additional training, and uses only the input and gradient. Some theoretical justification is provided for it (especially for ReLU networks) and its performance is empirically demonstrated.

研究の動機と目的

• 多くのアトリビューション手法が、モデル重みやラベルをランダム化した際にも安定性を保つという基本的な整合性テストに失敗するという深刻な問題に対処すること。
• 既存のアトリビューション手法に対して、最小限でトレーニング不要な修正を提案し、信頼性と解釈可能性を向上させること。
• 予測クラスだけでなく、すべての出力クラスの勾配を組み込むことで、より堅牢で意味のあるアトリビューションマップが得られることを示すこと。
• 提案手法が、元のアトリビューションマップの視覚的忠実度を保ちつつ、厳密な整合性テストに合格することを検証すること。

提案手法

• 中心的なアイデアは、入力に対して各クラスのログティトの勾配を用いて、すべての可能な出力クラスについてアトリビューションマップを計算すること。
• 各ピクセルについて、すべてのクラスからのスコアを「予測クラスへの関連性」を決めるための『投票』として扱う。
• 予測クラスに対するスコアが、他の任意のクラスのスコアより小さい場合、そのピクセルのスコアをゼロにすることで、競争的な選択メカニズムを強制する。
• この手法は、Competitive Gradient × Input（CGI）として定式化され、入力と予測クラスのログティトの勾配の要素ごとの積に、競合処理を適用することで定義される。
• このアプローチは、Gradient × Input および Layerwise Relevance Propagation（LRP）という2つの代表的な手法に適用され、それぞれ CGI および CLRP の変種が得られる。
• 追加のトレーニングは不要で、効率的かつ既存のディープラーニング推論パイプラインと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 既存のアトリビューション手法に対して、単純でトレーニング不要な修正を加えることで、モデルやデータのランダム化に対してより堅牢になるか。
• RQ2 予測クラスに限らず、すべてのクラスのログティトの勾配を組み込むことで、より信頼性の高いアトリビューションマップが得られるか。
• RQ3 クラススコア間の競合メカニズムが、整合性テストにおいても持続する誤ったアトリビューションパターンを排除できるか。
• RQ4 提案手法が、厳密な整合性テストに合格しつつ、元のアトリビューションマップの解釈可能性と視覚的品質を保持できるか。
• RQ5 ソフトマックスの勾配を用いる代替戦略よりも、この競合メカニズムがより効果的か。

主な発見

• CGI は、標準的な Gradient × Input とは異なり、モデルパラメータのランダム化およびデータラベルのランダム化の両方の整合性テストに合格している。
• パラメータランダム化テストでは、任意の層をランダム化した場合、CGI はほぼ白黒のアトリビューションマップを生成し、モデル構造の喪失を正しく検出していることが示された。
• 段階的ランダム化実験では、CGI は層のランダム化に伴い徐々にアトリビューション構造を失うが、標準的な Gradient × Input は鳥の輪郭のような明確な特徴を維持している。
• ラベルがランダムに並び替えられた MNIST では、CGI は数字「3」の視覚的構造を除去するのに対し、標準的な Gradient × Input は依然としてその形状を示し、訓練データの損傷に敏感であることを確認した。
• LRP の競合版である CLRP も、ランダム化条件下でアトリビューション構造を低下させることが示され、この手法が Gradient × Input を超えて一般化可能であることを裏付けた。
• 競合メカニズムは、クリーンなデータにおける視覚的品質を損なわず、偽の特徴をフィルタリングしながら意味のある特徴を保持するため、信頼性を向上させた。