[论文解读] Best of both worlds: local and global explanations with human-understandable concepts

Jessica Schrouff, Sebastien Baur+7 more|arXiv (Cornell University)|Jun 16, 2021

Explainable Artificial Intelligence (XAI)参考文献 48被引用 14

一句话总结

本文提出了集成概念敏感性（ICS），这是一种统一框架，将局部、特征级别的解释方法——积分梯度（IG）——与全局、基于概念的解释方法——使用概念激活向量的测试（TCAV）相结合。通过从IG中推导出特定概念的显著性分数，并在数据上进行聚合，ICS实现了前后一致、人类可理解的局部与全局解释——在实验中表现出相较于原始TCAV更高的忠实度，并通过用户研究得到验证。

ABSTRACT

Interpretability techniques aim to provide the rationale behind a model's decision, typically by explaining either an individual prediction (local explanation, e.g. 'why is this patient diagnosed with this condition') or a class of predictions (global explanation, e.g. 'why is this set of patients diagnosed with this condition in general'). While there are many methods focused on either one, few frameworks can provide both local and global explanations in a consistent manner. In this work, we combine two powerful existing techniques, one local (Integrated Gradients, IG) and one global (Testing with Concept Activation Vectors), to provide local and global concept-based explanations. We first sanity check our idea using two synthetic datasets with a known ground truth, and further demonstrate with a benchmark natural image dataset. We test our method with various concepts, target classes, model architectures and IG parameters (e.g. baselines). We show that our method improves global explanations over vanilla TCAV when compared to ground truth, and provides useful local insights. Finally, a user study demonstrates the usefulness of the method compared to no or global explanations only. We hope our work provides a step towards building bridges between many existing local and global methods to get the best of both worlds.

研究动机与目标

• 弥合机器学习中局部与全局可解释性方法之间的差距。
• 提供一致且基于概念的解释，既具备局部忠实性，又具有全局代表性。
• 通过利用积分梯度的局部归因，提升全局解释相较于原始TCAV的忠实度。
• 在包含多样化概念与模型架构的合成数据集和真实世界数据集上，对方法进行验证。
• 通过用户研究评估结合局部与全局解释的实际有用性。

提出的方法

• ICS通过从基线输入到目标输入的路径，对积分梯度（IG）在特定概念上进行积分，计算基于概念的显著性分数。
• 该方法为IG定义了特定于概念的基线，以匹配概念的语义结构（例如“条纹”或“草地背景”）。
• 在简单线性情况下，推导出ICS的闭式解，实现理论验证。
• 通过在数据集上对ICS分数取平均，生成全局解释，得到每类别的概念重要性分布。
• 局部解释以每张图像的ICS分数形式可视化，展示每个概念对特定预测的贡献。
• 该框架支持多种概念、模型架构和基线配置，支持系统性评估。

实验结果

研究问题

• RQ1 是否存在一种统一方法，能够使用人类可理解的概念同时提供局部与全局解释？
• RQ2 当已知真实情况时，ICS生成的全局解释相较于原始TCAV的忠实度如何？
• RQ3 局部ICS解释在多大程度上帮助用户更准确地理解单个预测？
• RQ4 不同概念定义（如条纹、颜色、形状）如何影响解释的一致性与可解释性？
• RQ5 同时提供局部与全局解释是否比单独使用其中一种更能提升用户理解？

主要发现

• 在合成数据集上，基于真实情况的测量显示，ICS相较于原始TCAV显著提升了全局解释的忠实度。
• 该方法生成了稳定且可解释的局部解释，ICS分数能清晰区分相关概念（如斑马的条纹）与无关概念。
• 在用户研究中，使用局部与全局解释的参与者比仅使用全局解释或不使用解释的参与者，做出了更准确的预测，并报告了更高的信心水平。
• 模型对“条纹”和“草地背景”等概念在斑马分类中的依赖关系，被准确捕捉并以全局与局部形式可视化。
• “颜色”和“四条腿”等概念显示出较低的整体重要性，与领域知识一致，验证了该方法对语义相关性的敏感性。
• 线性情况下的闭式解证实了理论一致性，为方法在更广泛场景中的应用奠定了基础。