[論文レビュー] Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI

Leila Arras, Ahmed Osman+1 more|arXiv (Cornell University)|Mar 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 19

ひとこと要約

本論文は、視覚的質疑応答（VQA）タスクにおけるニューラルネットワークの説明を、客観的評価が可能なピクセルレベルの説明を備えた新しいベンチマークデータセット、CLEVR-XAIを紹介する。CLEVRデータセットの合成的で現実的な3Dシーンを活用し、正確なオブジェクト単位の関連マスクを生成することで、10種類のXAI手法を制御的・選択的・現実的な条件下で評価するフレームワークを構築した。その結果、Layer-wise Relevance Propagation（LRP）、Integrated Gradients（IG）、Guided Backpropagationが最も高い正確性を示した一方、DeconvNetとGrad-CAMは最も悪い性能を示した。

ABSTRACT

The rise of deep learning in today's applications entailed an increasing need in explaining the model's decisions beyond prediction performances in order to foster trust and accountability. Recently, the field of explainable AI (XAI) has developed methods that provide such explanations for already trained neural networks. In computer vision tasks such explanations, termed heatmaps, visualize the contributions of individual pixels to the prediction. So far XAI methods along with their heatmaps were mainly validated qualitatively via human-based assessment, or evaluated through auxiliary proxy tasks such as pixel perturbation, weak object localization or randomization tests. Due to the lack of an objective and commonly accepted quality measure for heatmaps, it was debatable which XAI method performs best and whether explanations can be trusted at all. In the present work, we tackle the problem by proposing a ground truth based evaluation framework for XAI methods based on the CLEVR visual question answering task. Our framework provides a (1) selective, (2) controlled and (3) realistic testbed for the evaluation of neural network explanations. We compare ten different explanation methods, resulting in new insights about the quality and properties of XAI methods, sometimes contradicting with conclusions from previous comparative studies. The CLEVR-XAI dataset and the benchmarking code can be found at https://github.com/ahmedmagdiosman/clevr-xai.

研究の動機と目的

• コンピュータビジョン分野におけるニューラルネットワークの説明に対する、客観的で真の基準に基づく評価の欠如を解消すること。
• ピクセルの摂動やオブジェクトの局在化といった代理指標に依存するのではなく、制御的・選択的・現実的なテストベッドを提供し、XAI手法を評価すること。
• VQA予測に対する正確で人間がアノテートした真の関連マスクを備えたベンチマークデータセットを提供すること。
• 統一的で客観的な評価フレームワークのもとで、10種類の事後的XAI手法の性能を比較すること。
• 従来の定性的な結論（XAI手法の質に関するもの）を、実証的で定量的な知見によって挑戦すること。

提案手法

• 著者らは、各質問に対して回答に必要な画像領域を示すピクセルレベルの真の基準マスクを生成することで、CLEVR VQAデータセットを拡張した。
• 真の基準マスクは、質問の意味的コンテンツに基づき、回答に不可欠な画像内のオブジェクトを同定することで作成された。
• 評価フレームワークは、これらのマスクを用いて関連性の正確さを計算し、XAIのヒートマップが真の関連画像領域とどれほど一致するかを測定する。
• Grad-CAM、LRP、Integrated Gradients、Guided Backpropagationを含む10種類の事後的XAI手法が、同じテストセットと指標を用いて評価された。
• 評価は、標準的な関係ネットワークベースのVQAモデル上で実施され、トレーニングおよび推論条件の整合性を保った。
• 指標にはマス正確さとオブジェクト単位の正確さが含まれ、複数の質問タイプと画像のバリエーションにわたって結果が集約された。

実験結果

リサーチクエスチョン

• RQ1 どのXAI手法が、特定のVQA予測に対して真の関連画像領域を最も正確に反映するヒートマップを生成するか？
• RQ2 XAI手法の性能は、数え上げ、属性、関係に基づく質問などの異なる質問タイプにおいてどのように変化するか？
• RQ3 ピクセルの摂動や局在化といった代理評価手法が隠してしまう性能差は、真の基準に基づく評価によって明らかにされるか？
• RQ4 勾配統合や単一の逆伝播パスに依存する決定的XAI手法は、確率的または勾配統合に基づく手法に比べ、関連性正確さの面でどれほど優れているか？
• RQ5 モデルの予測の信頼度は、XAI説明の正確さと相関しているか？

主な発見

• Layer-wise Relevance Propagation（LRP）とIntegrated Gradients（IG）が最も高い関連性正確さを示し、特にLRPは複雑で遮蔽されたシーンでも強固な性能を発揮した。
• Guided Backpropagationも良好な性能を示し、特に関連オブジェクトの局在化において優れており、特徴の重要性を効果的に捉えていることが示唆された。
• DeconvNetとGrad-CAMは最も正確さに欠け、関連オブジェクトを正しく局在化できないか、無関係な画像領域にまで関連性を広げてしまう傾向があった。
• XAI手法の性能は、モデルの予測信頼度と相関していた：信頼度が高い予測では、より正確な説明が得られた。
• 真の基準評価により、従来の代理指標（例：Grad-CAM）に基づいて信頼されていた手法が、実際の関連マスクと比較すると顕著に性能が劣ることが明らかになった。
• ベンチマークは、勾配統合（例：IG）や単一のバックプロパゲーション（例：LRP、Guided Backprop）に依存する手法が、摂動やベースライン入力が必要な手法（例：SmoothGrad）を上回ることを示した。