[论文解读] Data Representing Ground-Truth Explanations to Evaluate XAI Methods

Shideh Shams Amiri, Rosina O. Weber+5 more|arXiv (Cornell University)|Nov 18, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用 5

一句话总结

本文提出了一种新颖的方法，用于生成代表真实解释（GTEs）的合成数据，以评估可解释人工智能（XAI）方法，使用标准方程定义神经网络分类任务中的特征重要性。通过创建三个基准数据集并评估LIME在这些GTE上的表现，作者表明当前XAI评估缺乏一致性和问责性，并展示基于GTE的评估能够揭示方法论缺陷——例如LIME对扰动采样策略的敏感性——从而实现更严格、可复现且可问责的XAI研究。

ABSTRACT

Explainable artificial intelligence (XAI) methods are currently evaluated with approaches mostly originated in interpretable machine learning (IML) research that focus on understanding models such as comparison against existing attribution approaches, sensitivity analyses, gold set of features, axioms, or through demonstration of images. There are problems with these methods such as that they do not indicate where current XAI approaches fail to guide investigations towards consistent progress of the field. They do not measure accuracy in support of accountable decisions, and it is practically impossible to determine whether one XAI method is better than the other or what the weaknesses of existing models are, leaving researchers without guidance on which research questions will advance the field. Other fields usually utilize ground-truth data and create benchmarks. Data representing ground-truth explanations is not typically used in XAI or IML. One reason is that explanations are subjective, in the sense that an explanation that satisfies one user may not satisfy another. To overcome these problems, we propose to represent explanations with canonical equations that can be used to evaluate the accuracy of XAI methods. The contributions of this paper include a methodology to create synthetic data representing ground-truth explanations, three data sets, an evaluation of LIME using these data sets, and a preliminary analysis of the challenges and potential benefits in using these data to evaluate existing XAI approaches. Evaluation methods based on human-centric studies are outside the scope of this paper.

研究动机与目标

• 通过引入代表真实解释（GTEs）的数据，解决XAI评估中缺乏一致性和问责性的问题。
• 克服当前XAI评估方法的局限性——如依赖人工研究、公理或启发式度量——这些方法无法衡量解释的准确性，也无法指导方法论的进展。
• 利用具有已知特征重要性的合成数据，创建可验证、可复现的基准测试框架，实现对XAI方法的客观比较。
• 展示基于GTE的评估如何暴露现有XAI方法的弱点，例如LIME对扰动采样策略的敏感性。

提出的方法

• 开发一种通过定义标准方程来生成代表真实解释的合成数据的方法，这些方程编码了分类任务中的特征重要性。
• 构建三个基准数据集（贷款、鸢尾花和一个三特征合成数据集），其中特征重要性通过数学方程明确定义。
• 在每个数据集中训练全连接神经网络，使其达到100%的准确率，以确保模型行为具有确定性并符合GTEs。
• 使用不同数量的扰动样本（例如5个、50个）对训练好的模型应用LIME，生成符合LIME格式的解释。
• 将来自标准方程的真实特征重要性转换为LIME兼容格式，以实现直接比较。
• 使用余弦相似度和具有固定超参数的岭回归，评估LIME的解释与GTEs的一致性，测量保真度和一致性。

实验结果

研究问题

• RQ1 具有已知、数学定义的特征重要性的合成数据能否作为评估XAI方法的可靠真实基准？
• RQ2 为何当前评估度量无法区分高质量解释与人为优秀的解释？GTEs如何暴露此类缺陷？
• RQ3 当基于已知真实基准评估时，LIME的性能如何随扰动样本数量的变化而变化？
• RQ4 对扰动数据范围和精度缺乏了解在多大程度上会降低LIME的解释准确性？
• RQ5 基于GTE的评估能否实现XAI研究中更一致、可问责且可复现的进展？

主要发现

• LIME的性能对扰动样本数量高度敏感；使用50个样本（接近贷款数据集中所有实例）并未产生最准确的解释，表明其采样策略存在缺陷。
• 评估结果表明，更多样本可能产生人为优秀的结果，但并不代表解释质量更高，因为尽管实际保真度未提升，各项度量分数却保持一致。
• LIME解释与真实基准之间的差异可归因于缺乏对数据范围和精度的了解，这表明若提供此类信息，可显著提升LIME的准确性。
• 所有测试的评估度量（如余弦相似度、保真度）一致识别出50个样本时的“人工改进”，验证了所提评估框架的可靠性。
• 本研究表明，基于GTE的评估能够暴露XAI工具（如LIME）的方法论弱点，例如其未能利用已知的数据约束，从而为未来改进提供指导。
• 所提出的框架实现了可度量、可验证且可复现的XAI方法评估，为实现可问责且系统化的领域进展提供了路径。