[论文解读] BIM: Towards Quantitative Evaluation of Interpretability Methods with Ground Truth.

Mengjiao Yang, Been Kim|arXiv (Cornell University)|Jul 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 12被引用 23

一句话总结

本文提出了BIM，一种通过利用已知相对特征重要性的合成数据集，对机器学习中的特征归因方法进行定量评估的框架。它提出了三种度量方法，用于比较不同模型和输入下的归因结果，揭示了某些方法会产生更多的假阳性解释，并公开了数据集、模型和度量方法以实现可复现性。

ABSTRACT

Interpretability is an important area of research for safe deployment of machine learning systems. One particular type of interpretability method attributes model decisions to input features. Despite active development, quantitative evaluation of feature attribution methods remains difficult due to the lack of ground truth: we do not know which input features are in fact important to a model. In this work, we propose a framework for Benchmarking Attribution Methods (BAM) with a priori knowledge of relative feature importance. BAM includes 1) a carefully crafted dataset and models trained with known relative feature importance and 2) three complementary metrics to quantitatively evaluate attribution methods by comparing feature attributions between pairs of models and pairs of inputs. Our evaluation on several widely-used attribution methods suggests that certain methods are more likely to produce false positive explanations---features that are incorrectly attributed as more important to model prediction. We open source our dataset, models, and metrics.

研究动机与目标

• 为解决在评估机器学习中的特征归因方法时缺乏真实标签的问题。
• 开发一个框架，利用已知的相对特征重要性，实现对归因方法的定量比较。
• 识别现有归因方法中的系统性偏差，特别是假阳性归因。
• 提供开源工具，包括数据集、训练好的模型和评估度量方法，以实现可复现的基准测试。

提出的方法

• 设计一个具有受控且已知相对特征重要性的合成数据集，作为真实标签。
• 在该数据集上训练多个模型，并设定预定义的重要性排名，以建立评估的参考基准。
• 定义三种互补的度量方法，用于比较成对模型和成对输入之间的归因结果。
• 使用具有已知重要性差异的模型对，评估归因方法检测这些差异的能力。
• 应用这些度量方法，通过测量与已知重要性排名的一致性，评估归因的保真度。
• 开源数据集、模型和度量方法，以支持社区范围内的基准测试和可复现性。

实验结果

研究问题

• RQ1 哪些归因方法最能准确反映模型预测中已知的相对特征重要性？
• RQ2 当比较具有已知特征重要性差异的模型时，归因方法的表现如何？
• RQ3 现有方法在多大程度上会产生假阳性归因——即错误地将重要性分配给实际上无影响的特征？
• RQ4 不同评估度量方法在检测归因方法缺陷方面如何相互补充？

主要发现

• 某些归因方法表现出更高的假阳性解释倾向，错误地将非重要特征识别为有影响力。
• 所提出的度量方法成功检测出真实与归因特征重要性之间的差异，尤其是在具有已知重要性差异的模型对中表现显著。
• 该框架揭示了如Integrated Gradients和Grad-CAM等流行方法在受控条件下表现出不同程度的可靠性。
• 开源的数据集和模型使得在不同研究环境中对归因技术进行一致且可复现的评估成为可能。
• 评估结果表明，归因方法并非普遍可靠，其性能在很大程度上取决于模型架构和输入分布。
• 该框架证明了当已知真实特征重要性时，可解释性的定量评估是可行的。