[论文解读] Precise Benchmarking of Explainable AI Attribution Methods

Rafaël Brandt, Daan Raatjens+1 more|arXiv (Cornell University)|Aug 6, 2023

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出了一种新颖的可解释人工智能（XAI）归因方法基准测试框架，采用一种可解析推导真实归因的合成卷积神经网络图像分类器，实现精确、无偏见的真实归因。通过引入高保真度指标，分别量化正负输入贡献的精确率与召回率，该方法揭示了Guided-Backprop和SmoothGrad在正像素上表现优异，但在负像素上的精确率较差，同时这些方法也是评估速度最快的指标之一。

ABSTRACT

The rationale behind a deep learning model's output is often difficult to understand by humans. EXplainable AI (XAI) aims at solving this by developing methods that improve interpretability and explainability of machine learning models. Reliable evaluation metrics are needed to assess and compare different XAI methods. We propose a novel evaluation approach for benchmarking state-of-the-art XAI attribution methods. Our proposal consists of a synthetic classification model accompanied by its derived ground truth explanations allowing high precision representation of input nodes contributions. We also propose new high-fidelity metrics to quantify the difference between explanations of the investigated XAI method and those derived from the synthetic model. Our metrics allow assessment of explanations in terms of precision and recall separately. Also, we propose metrics to independently evaluate negative or positive contributions of inputs. Our proposal provides deeper insights into XAI methods output. We investigate our proposal by constructing a synthetic convolutional image classification model and benchmarking several widely used XAI attribution methods using our evaluation approach. We compare our results with established prior XAI evaluation metrics. By deriving the ground truth directly from the constructed model in our method, we ensure the absence of bias, e.g., subjective either based on the training set. Our experimental results provide novel insights into the performance of Guided-Backprop and Smoothgrad XAI methods that are widely in use. Both have good precision and recall scores among positively contributing pixels (0.7, 0.76 and 0.7, 0.77, respectively), but poor precision scores among negatively contributing pixels (0.44, 0.61 and 0.47, 0.75, resp.). The recall scores in the latter case remain close. We show that our metrics are among the fastest in terms of execution time.

研究动机与目标

• 为解决XAI归因方法缺乏可靠、无偏见评估指标的问题。
• 克服在真实世界模型中获取真实归因解释的挑战，尤其是当训练数据或模型特性引入偏差时。
• 开发可分别评估正负输入贡献精确率与召回率的指标，以深入洞察XAI方法的行为特征。
• 提供一种可复现的合成评估框架，避免依赖人工标注或主观真实归因。
• 以比以往指标更高的保真度与效率，对广泛使用的XAI方法进行基准测试。

提出的方法

• 构建一个合成卷积神经网络（CNN）图像分类器，其真实归因可从模型架构与权重中解析推导。
• 直接从模型学习到的滤波器与激活模式中推导真实归因，确保不依赖训练数据或人工判断。
• 提出一套高保真度指标，包括紧凑性（精确率）与完整性（召回率），并针对正负输入贡献设置变体。
• 实现独立评估正负贡献输入节点解释保真度的指标，支持细粒度分析。
• 对XAI方法输出与真实归因解释进行归一化处理，确保跨方法的公平比较。
• 利用所提指标对最先进XAI方法（如Guided-Backprop、SmoothGrad、Integrated Gradients）进行基准测试，并与现有标准指标比较执行时间。

实验结果

研究问题

• RQ1 如何构建一个可靠的合成基准，用于XAI归因方法评估，并实现可解析推导的真实归因？
• RQ2 现有XAI方法在多大程度上能准确识别正负贡献的输入特征？
• RQ3 能否有意义地将精确率与召回率分离，并分别对正负贡献进行独立评估？
• RQ4 所提指标在执行速度上与现有标准XAI评估指标相比如何？
• RQ5 当分别分析正负贡献保真度时，可揭示出关于方法行为的哪些新见解？

主要发现

• Guided-Backprop与SmoothGrad在正贡献像素上分别实现高精确率（0.70与0.71）与高召回率（0.76与0.77），表明其在相关特征上表现优异。
• 对于负贡献像素，两种方法的精确率显著降低（Guided-Backprop为0.44与0.61，SmoothGrad为0.47与0.75），表明其存在错误归因负贡献的倾向。
• 召回率在负贡献上仍保持较高水平（≈0.75），表明尽管方法会遗漏部分负特征，但极少出现完全漏检的情况。
• 所提紧凑性与完整性指标在执行时间上属于最快之列，每条解释的平均评估延迟较低。
• 新指标揭示了传统F1、IoU或PR分数无法检测到的方法偏差，例如SmoothGrad对负特征的过度归因。
• Integrated Gradients在所有指标中始终排名第一，尤其在完整性和紧凑性方面表现突出，尤其在正贡献方面。