[論文レビュー] Quantitative Evaluations on Saliency Methods: An Experimental Study

Xiaohui Li, Yuhan Shi+5 more|arXiv (Cornell University)|Dec 31, 2020

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 14

ひとこと要約

本稿では、ImageNet、VOC、COCOデータセット上で、忠実性、局所化、偽陽性、感受性、安定性の5つの指標を用いて、サリエンシー手法の包括的な定量的評価を実施している。どの指標においても優劣が一貫しないことが判明したが、Grad-CAMとRISEは一貫して良好な性能を示した。著者らは新たなIoSR指標を提案し、指標の組み合わせによって「Clever Hans」現象を同定した。

ABSTRACT

It has been long debated that eXplainable AI (XAI) is an important topic, but it lacks rigorous definition and fair metrics. In this paper, we briefly summarize the status quo of the metrics, along with an exhaustive experimental study based on them, including faithfulness, localization, false-positives, sensitivity check, and stability. With the experimental results, we conclude that among all the methods we compare, no single explanation method dominates others in all metrics. Nonetheless, Gradient-weighted Class Activation Mapping (Grad-CAM) and Randomly Input Sampling for Explanation (RISE) perform fairly well in most of the metrics. Utilizing a set of filtered metrics, we further present a case study to diagnose the classification bases for models. While providing a comprehensive experimental study of metrics, we also examine measuring factors that are missed in current metrics and hope this valuable work could serve as a guide for future research.

研究の動機と目的

• 広く使われているサリエンシー手法を、複数の評価指標で体系的かつ定量的に比較すること。
• 標準的で機能的根拠を持つ指標に基づき、既存のXAI手法の強みと弱みを特定すること。
• サリエンシー地図のコンパクトさをよりよく捉えるために、新しい局所化指標であるIoSRを提案すること。
• 複数の指標を組み合わせた分析により、「Clever Hans」現象——予測が真の特徴ではなく誤った相関に依存する——を同定すること。
• 応用分野に応じた優先順位に応じて、適切な説明手法を選択する手がかりを実務家に提供すること。

提案手法

• 著者らは、ImageNet、VOC、COCOデータセット上で、Grad-CAM、RISE、Grad-CAM++、SmoothGrad、Integrated Gradients、LRPの6つのサリエンシー手法を評価した。
• 忠実性（iAUCを用いて）、局所化（ポイントゲームとIoSRを用いて）、偽陽性（拡張されたBAMデータセットを用いて）、感受性（モデル重みと分類クラスの変更に対する感受性）、安定性（入力の摂動に対する安定性）の5つの機能的根拠を持つ指標を適用した。
• サリエンシー地図が物体の周囲にコンパクトに集中しているかを評価するため、新たに「サリエンス領域における共通部分（IoSR）」という指標を導入した。
• 偽陽性の説明をよりよく検出できるよう、BAMデータセットを拡張し、より多くの物体カテゴリとシーンを追加した。
• 「Clever Hans」例——モデルが真の特徴ではなく誤った特徴に依存して正しく予測する——を同定するために、マルチ指標診断フレームワークを適用した。
• 実験では、ブラックボックスモデルとしてResNet50を用い、バックプロパゲーションおよび摂動ベース手法により説明を生成した。

実験結果

リサーチクエスチョン

• RQ1 複数の評価指標において最も優れた性能を示すサリエンシー手法は何か。また、万能な優れた手法は存在するのか？
• RQ2 忠実性、局所化、偽陽性、感受性、安定性といった既存の指標は、実際のところ、異なるサリエンシー手法をどのように順位付けするのか？
• RQ3 サリエンシー手法は、真の特徴ではなく誤った相関に依存する「Clever Hans」行動をどれほど示すのか？
• RQ4 複数の指標の組み合わせは、ブラックボックスモデルの失敗モードを効果的に検出・診断できるか？
• RQ5 解釈の解像度（Grad-CAM）や分散性（RISE）といった、手法固有の特性が、さまざまな指標における性能にどのように影響を与えるのか？

主な発見

• どの指標においても最適な性能を発揮する一貫したサリエンシー手法は存在せず、解釈性の特性にトレードオフが存在することが示された。
• Grad-CAMとRISEは、忠実性、局所化、感受性、安定性の4つの指標において一貫して良好な性能を示したが、Grad-CAMは偽陽性率が高く、RISEはIoSRスコアが低かった。
• 提案されたIoSR指標は、サリエンシー地図のコンパクトさを効果的に捉えており、RISEがGrad-CAMに比べて説明がより分散していることが明らかになった。
• 拡張されたBAMデータセットにより、特に「自転車」のような誤った特徴に依存して「人間」分類を行うモデルの偽陽性説明を検出できるようになった。
• マルチ指標診断フレームワークにより、「VOC」と「COCO」データセットの両方で「Clever Hans」例を効果的に同定できた。例えば、「馬」や「自転車」の存在に依存して「人間」と予測するモデルの事例が確認された。
• 実際のテストデータにおいても、誤った相関に起因する偽陽性予測が観察され、例として「自転車」の存在に依存して「人間」と誤分類されるケースが確認された。