[論文レビュー] Towards a Unified Evaluation of Explanation Methods without Ground Truth

Hao Zhang, Jiayi Chen+2 more|arXiv (Cornell University)|Nov 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 48被引用数 7

ひとこと要約

本論文は、深層ニューラルネットワークにおける説明手法のための統一的で、真値を必要としない評価フレームワークを提案する。4つの指標——画素レベルのバイアス、説明不能な特徴成分、空間マスキングに対するロバスト性、相互検証——を9つのベンチマーク手法に適用する。主な貢献は、人為的アノテーションや合成された真値説明に依存せずに、帰属割り当てマップの客観的で再現可能かつ包括的な評価を可能にすることである。

ABSTRACT

This paper proposes a set of criteria to evaluate the objectiveness of explanation methods of neural networks, which is crucial for the development of explainable AI, but it also presents significant challenges. The core challenge is that people usually cannot obtain ground-truth explanations of the neural network. To this end, we design four metrics to evaluate explanation results without ground-truth explanations. Our metrics can be broadly applied to nine benchmark methods of interpreting neural networks, which provides new insights of explanation methods.

研究の動機と目的

• 真値の帰属割り当てが存在しないことによる、深層ニューラルネットワークにおける説明手法の客観的かつ信頼できる評価の欠如に対処する。
• 人間の判断や合成データセット、モデル挙動に関する仮定に依存する既存の指標の限界を克服する。
• 真値の説明が不要な状況でも、多様なモデル、データセット、説明手法に一般化可能な評価フレームワークを構築する。
• 帰属割り当てマップの客観性、包括性、ロバスト性、一貫性（共通性）に焦点を当てた評価を保証する。
• 真値アノテーションに依存せずに、定量的で解釈可能かつ再現可能な指標を用いて、説明手法の公平な比較を可能にする。

提案手法

• 画素レベルのバイアス指標を定義し、帰属割り当てマップがモデル出力への個々の画素の寄与度をどの程度正確に反映しているかを定量化する。
• 特徴成分の説明不能性を測定する指標を導入し、帰属割り当てに基づくマスキング後に、依然としてモデル予測に顕著な影響を及ぼすマスキング画素の割合を測定する。
• 空間マスキングの摂動に基づくロバスト性指標を提案し、入力の変更に対して帰属割り当てマップがどの程度一貫して安定しているかを測定する。
• 相互検証指標を設計し、同じ入力に対して異なる説明手法がどの程度類似した帰属割り当てパターンを割り当てるかを評価することで、一貫性を測定する。
• 複数のモデル（ResNet、VGG、AlexNet）とデータセット（CIFAR-10、VOC2012）に対して、広く使われている9つの説明手法（例：LRP、Grad-CAM、LIME、DeepSHAP）にこれらの指標を適用する。
• 数値的評価と可視化（例：相互検証のヒートマップ）を用いて、人為的アノテーションに依存せずに手法の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 真値の説明が存在しない状況で、帰属割り当てマップの正確性をどのように客観的に評価できるか。
• RQ2 異なる説明手法は、深層ニューラルネットワークにおける完全で重複のない特徴成分をどの程度捉えているか。
• RQ3 入力のマスキングやノイズなどの空間的摂動に対して、説明手法はどの程度ロバストか。
• RQ4 異なる説明手法は、同じ入力に対してどの程度一貫して顕著な領域を特定するか。
• RQ5 多様なモデル、データセット、説明技術に適用可能な統一的で汎用的な評価フレームワークを構築できるか。

主な発見

• LRP、GI、GBは複数のモデルで画素レベルのバイアスが最小であり、VGG-16/19（0.256）およびResNet（0.258）においてVOC2012で最も低いバイアスを示した。
• LIME、GB、Pertは最大の数の特徴成分を説明しており、LIMEはスーパーピクセルに基づく帰属割り当てのため変動が大きく、CIFAR-10では一貫性のない性能を示した。
• GBとGrad-CAMは空間マスキングに対して最も高いロバスト性を示し、GBはVOC2012-ResNet101で最小の非ロバスト性スコア（0.248）を記録した。
• 相互検証分析により、LRP、GI、DeepSHAPの間で強い一貫性が確認され、低スコア（例：VOC2012-ResNet101におけるLRP-GIの0.308）が得られ、高い合意度を示した。
• CAMとGrad-CAMは特徴レベルの帰属割り当てであるため、画素レベルのバイアス指標では評価できず、LRPは関連性伝播ルールが定義されていないためResNetでは評価されなかった。
• 提案された指標により、多様なモデルと手法に対して一貫した定量的評価が可能となり、結果としてGBとLRPが真値アノテーションを必要とせずに、複数の次元で他の手法を上回ることが示された。