[論文レビュー] Why are Saliency Maps Noisy? Cause of and Solution to Noisy Saliency Maps

Beomsu Kim, Junghoon Seo+4 more|arXiv (Cornell University)|Feb 13, 2019

Explainable Artificial Intelligence (XAI)参考文献 24被引用数 9

ひとこと要約

この論文は、不要な特徴量がReLU活性化関数を通ることで不純な勾配が生じ、結果としてノイズが多いサリエンシーマップが生成されることを特定した。本研究では、バックプロパゲーション中に層ごとのしきい値処理を施すことで、これらの不要な特徴量を抑制する「リカチフィード勾配（RectGrad）」を提案する。この手法により、サリエンシーマップの品質が著しく向上し、CIFAR-10およびImageNetにおける視覚的整合性と定量的ベンチマークの両面で、既存のアトリビューション手法を上回る性能を示した。

ABSTRACT

Saliency Map, the gradient of the score function with respect to the input, is the most basic technique for interpreting deep neural network decisions. However, saliency maps are often visually noisy. Although several hypotheses were proposed to account for this phenomenon, there are few works that provide rigorous analyses of noisy saliency maps. In this paper, we firstly propose a new hypothesis that noise may occur in saliency maps when irrelevant features pass through ReLU activation functions. Then, we propose Rectified Gradient, a method that alleviates this problem through layer-wise thresholding during backpropagation. Experiments with neural networks trained on CIFAR-10 and ImageNet showed effectiveness of our method and its superiority to other attribution methods.

研究の動機と目的

• サリエンシーマップの視覚的ノイズの根本的要因を特定し、勾配の不連続性や飽和に関する先行仮説に挑戦すること。
• ノイズの原因に関する未検証の仮定に依存する既存のアトリビューション手法に起因する、きめ細やかな分析の欠如を是正すること。
• 新たな実験的根拠に基づく仮説を提示する：ノイズは、不要な特徴量が正の前活性化値を持ち、ReLUユニットを通ることで生じる。
• バックプロパゲーション中に層ごとのしきい値処理を施すことで、ノイズを低減する「リカチフィード勾配（RectGrad）」を考案すること。
• 定性的および定量的な実験を通じて、RectGradが既存手法よりも明確で正確なアトリビューションマップを生成することを示すこと。

提案手法

• 新たな仮説を提示：サリエンシーマップのノイズは、不要な特徴量が正の前活性化値を持ち、ReLUを通ることで、重要でない領域に対しても非ゼロの勾配が生じる場合に発生する。
• バックプロパゲーション中に層ごとのしきい値処理を適用することで、不要なReLUユニットからの勾配を抑制する「リカチフィード勾配（RectGrad）」を導入する。
• RectGradは、デコンボリューションとガイドドバックプロパゲーションを特別なケースとして一般化し、勾配ベースのアトリビューションの統一的フレームワークを提供する。
• 前方伝播時の活性化の大きさに基づき、関連性が低いユニットからの勾配を効果的にブロックするしきい値処理メカニズムを採用する。
• バックプロパゲーション中にこの手法を適用することで、最終的なサリエンシーマップに寄与するのは意味のある特徴量のみとなるように保証する。
• ResNetおよびDenseNetアーキテクチャをCIFAR-10およびImageNetで学習させた上で、定性的な可視化と定量的指標を用いて手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 サリエンシーマップのノイズの真の根本的要因は何か？ これは勾配の不連続性や飽和に起因していると正しく特定されているか？
• RQ2 バックプロパゲーション中に不要な特徴量をフィルタリングすることで、ノイズを低減できる手法を開発できるか？
• RQ3 リカチフィード勾配は、視覚的明瞭性と特徴量の重要度同定の観点で、既存のアトリビューション手法を上回るか？
• RQ4 オクルージョンや特徴量の削除に対する耐性という観点から、RectGradはベースライン手法と比較して優れているか？
• RQ5 RectGradは、デコンボリューションやガイドドバックプロパゲーションといった既存手法と正式に関連づけられるか？

主な発見

• RectGradは、サリエンシーマップが最も明確で、ノイズが著しく少ない結果を示し、Saliency Map、ガイドドバックプロパゲーション、SmoothGradと比較して顕著に優れていた。
• パッチオクルージョンテストでは、RectGradがランダムな10×10パッチに対して最も低いアトリビューション（0.0001）を割り当て、DeepLIFTを含むすべての他の手法を上回った。
• 背景アトリビューションの観点では、RectGradはマスク領域における絶対値の合計を30〜40％低減させ、ノイズ抑制の優位性を示した。
• ROAR AUC（0.5385）とKAR AOC（0.3382）の両指標において、RectGradはすべてのベースラインを上回り、特徴量の重要度同定の優れた性能を示した。
• 本手法は、デコンボリューションとガイドドバックプロパゲーションを一般化し、勾配ベースのアトリビューションの統一的理論的枠組みを提供した。
• ImageNetおよびCIFAR-10における定量的評価結果から、RectGradは視覚的品質と耐性指標の両面で、比較対象のすべての手法を一貫して上回ることが確認された。