[论文解读] Explain Any Concept: Segment Anything Meets Concept-Based Explanation

Ao Sun, Pingchuan Ma+2 more|arXiv (Cornell University)|May 17, 2023

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

EAC 将 SAM 驱动的概念发现与一个轻量级 PIE 代理和 Shapley 值相结合，以在视觉任务中对任意概念解释 DNN 决策，在 ImageNet 与 COCO 上相比基线具有更高的信度与可理解性。

ABSTRACT

EXplainable AI (XAI) is an essential topic to improve human understanding of deep neural networks (DNNs) given their black-box internals. For computer vision tasks, mainstream pixel-based XAI methods explain DNN decisions by identifying important pixels, and emerging concept-based XAI explore forming explanations with concepts (e.g., a head in an image). However, pixels are generally hard to interpret and sensitive to the imprecision of XAI methods, whereas "concepts" in prior works require human annotation or are limited to pre-defined concept sets. On the other hand, driven by large-scale pre-training, Segment Anything Model (SAM) has been demonstrated as a powerful and promotable framework for performing precise and comprehensive instance segmentation, enabling automatic preparation of concept sets from a given image. This paper for the first time explores using SAM to augment concept-based XAI. We offer an effective and flexible concept-based explanation method, namely Explain Any Concept (EAC), which explains DNN decisions with any concept. While SAM is highly effective and offers an "out-of-the-box" instance segmentation, it is costly when being integrated into defacto XAI pipelines. We thus propose a lightweight per-input equivalent (PIE) scheme, enabling efficient explanation with a surrogate model. Our evaluation over two popular datasets (ImageNet and COCO) illustrate the highly encouraging performance of EAC over commonly-used XAI methods.

研究动机与目标

• 通过解决概念解释的信度、可理解性和效率，推动开放且可解释的 AI 在视觉模型中的应用。
• 利用 Segment Anything Model (SAM) 自动从图像中提取人类可理解的概念。
• 开发一个轻量级的逐输入等价物（PIE）代理，以实现高效的基于 Shapley 值的解释。
• 提供一个通用管线（EAC），用任何概念解释预测，并评估其有效性。

提出的方法

• 使用 SAM 从每个输入图像生成一组概念 C。
• 训练一个与目标模型的全连接层共享的 PIE 代理，以在给定输入上近似目标模型，并实现高效的 Shapley 值计算。
• 使用蒙特卡洛采样计算概念层面的 Shapley 值，确定对目标预测贡献最大的概念。
• 将解释形成为一个概念子集，使其最大化基于 Shapley 值的效用，并呈现高亮显示所选概念的掩膜图像。
• 在信度方面将 EAC 与多种基线（像素、超像素和概念）进行比较，使用在 ImageNet 和 COCO 上的插入/删除 AUC 指标。
• 进行人类研究以评估解释的可理解性，并进行消融研究以验证 PIE 的效率和保真度。

实验结果

研究问题

• RQ1 SAM 推导的概念能否为视觉任务中的 DNN 决策提供可信且易理解的解释？
• RQ2 PIE 代理是否能实现高效且准确的基于概念的解释的 Shapley 值计算？
• RQ3 在标准基准和人类判断上，EAC 与现有的像素、超像素和基于概念的 XAI 方法相比有何差异？

主要发现

Setting	EAC	DeepLIFT	GradSHAP	IntGrad	KernelSHAP	FeatAbl	LIME	DeepLIFT*	GradSHAP*	IntGrad*
ImageNet/Insertion	83.400	75.235	64.658	68.772	64.544	70.187	76.638	14.707	14.794	15.120
COCO/Insertion	83.404	78.199	61.109	65.037	54.570	72.260	79.028	8.580	21.643	19.755
ImageNet/Deletion	23.799	25.262	40.996	36.214	26.583	37.332	25.307	40.620	44.830	46.015
COCO/Deletion	16.640	17.026	34.038	30.074	20.054	26.535	17.337	49.697	35.302	38.148

• EAC 在 ImageNet 的插入 AUC 为 83.400，基线为 75.235，在 COCO 为 83.404，基线为 78.199，表现更好。
• EAC 在 ImageNet 的删除 AUC 为 23.799，在 COCO 为 16.640，在所述设定中优于基线。
• 人类评估显示在 200 张图像中有 184 张偏好 EAC（92.0%），在 184 例中偏好 EAC 的有 137 例（74.5%）。
• PIE 显著降低计算时间并保持高 AUC（ImageNet 插入：PIE 81.78，245s；原始 >24 小时；COCO 插入：PIE 87.08，252s）。
• 消融显示 PIE 优于线性代理，且 PIE 未共享参数的版本性能下降，强调 PIE 设计的重要性。