[论文解读] Ground Truth Evaluation of Neural Network Explanations with CLEVR-XAI

Leila Arras, Ahmed Osman+1 more|arXiv (Cornell University)|Mar 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用 19

一句话总结

本文提出了 CLEVR-XAI，一个新颖的基准数据集，为视觉问答（VQA）任务提供像素级解释的真实标签，从而实现对神经网络解释的客观评估。通过利用 CLEVR 数据集中的合成、逼真的 3D 场景，并生成精确的基于对象的相关性掩码，该框架在受控、选择性且现实的条件下评估了 10 种 XAI 方法，结果表明：逐层相关性传播（LRP）、积分梯度（IG）和引导反向传播的性能最高，而 DeconvNet 和 Grad-CAM 表现最差。

ABSTRACT

The rise of deep learning in today's applications entailed an increasing need in explaining the model's decisions beyond prediction performances in order to foster trust and accountability. Recently, the field of explainable AI (XAI) has developed methods that provide such explanations for already trained neural networks. In computer vision tasks such explanations, termed heatmaps, visualize the contributions of individual pixels to the prediction. So far XAI methods along with their heatmaps were mainly validated qualitatively via human-based assessment, or evaluated through auxiliary proxy tasks such as pixel perturbation, weak object localization or randomization tests. Due to the lack of an objective and commonly accepted quality measure for heatmaps, it was debatable which XAI method performs best and whether explanations can be trusted at all. In the present work, we tackle the problem by proposing a ground truth based evaluation framework for XAI methods based on the CLEVR visual question answering task. Our framework provides a (1) selective, (2) controlled and (3) realistic testbed for the evaluation of neural network explanations. We compare ten different explanation methods, resulting in new insights about the quality and properties of XAI methods, sometimes contradicting with conclusions from previous comparative studies. The CLEVR-XAI dataset and the benchmarking code can be found at https://github.com/ahmedmagdiosman/clevr-xai.

研究动机与目标

• 为计算机视觉中神经网络解释的缺乏客观、基于真实标签的评估提供解决方案。
• 创建一个受控、选择性且现实的测试平台，用于评估 XAI 方法，超越像素扰动或目标定位等代理指标。
• 提供一个具有精确、人工标注的真实相关性掩码的基准数据集，用于 VQA 预测。
• 在统一的、客观的评估框架下，比较 10 种事后 XAI 方法的性能。
• 通过提供实证的、定量的洞察，挑战以往基于定性结论的 XAI 方法质量判断。

提出的方法

• 作者通过为每个问题生成像素级真实标签掩码，扩展了 CLEVR VQA 数据集，以指示图像中哪些区域与答案相关。
• 真实标签掩码通过根据问题的语义内容识别图像中回答问题所必需的对象来创建。
• 评估框架使用这些掩码计算相关性准确率，衡量 XAI 热力图与真实相关图像区域的对齐程度。
• 使用相同的测试集和指标，评估了 10 种事后 XAI 方法，包括 Grad-CAM、LRP、积分梯度和引导反向传播。
• 评估在基于关系网络的 VQA 模型上进行，确保与训练和推理条件的一致性。
• 指标包括质量准确率和基于对象的准确率，结果在多种问题类型和图像变化下聚合。

实验结果

研究问题

• RQ1 哪种 XAI 方法生成的热力图最能准确反映给定 VQA 预测的真实相关图像区域？
• RQ2 XAI 方法的性能在不同问题类型（如计数、属性、基于关系的问题）中如何变化？
• RQ3 基于真实标签的评估能否揭示被像素扰动或定位等代理评估方法所掩盖的性能差异？
• RQ4 在相关性准确率方面，确定性 XAI 方法在多大程度上优于随机或基于梯度积分的方法？
• RQ5 模型预测置信度是否与 XAI 解释的准确性相关？

主要发现

• 逐层相关性传播（LRP）和积分梯度（IG）达到了最高的相关性准确率，其中 LRP 在复杂、遮挡场景中也表现出色。
• 引导反向传播也表现良好，尤其在定位相关对象方面，表明其在捕捉特征重要性方面的有效性。
• DeconvNet 和 Grad-CAM 是最不准确的方法，通常无法准确定位相关对象，或在无关图像区域上扩散相关性。
• XAI 方法的性能与模型预测置信度相关：置信度越高，解释越准确。
• 真实标签评估揭示了某些方法在代理指标（如 Grad-CAM）下曾被认为可靠，但在与实际相关性掩码对比时表现不佳。
• 该基准表明，依赖梯度积分（如 IG）或单次反向传播（如 LRP、引导反向传播）的方法，优于需要扰动或基线输入的方法（如 SmoothGrad）。