[论文解读] Concept Activation Regions: A Generalized Framework For Concept-Based Explanations

Jonathan Crabbé, Mihaela van der Schaar|arXiv (Cornell University)|Sep 22, 2022

Explainable Artificial Intelligence (XAI)被引用 16

一句话总结

本文提出了概念激活区域（CAR），一种广义框架，通过使用基于核的支持向量分类器在深度神经网络的潜在空间中将概念建模为区域，从而取代传统CAV的线性可分性假设。CAR提升了解释的准确性，与人类概念标注更加一致，并实现了有意义的概念基础特征重要性，展示了其能够重新发现前列腺癌分级等科学概念的能力。

ABSTRACT

Concept-based explanations permit to understand the predictions of a deep neural network (DNN) through the lens of concepts specified by users. Existing methods assume that the examples illustrating a concept are mapped in a fixed direction of the DNN's latent space. When this holds true, the concept can be represented by a concept activation vector (CAV) pointing in that direction. In this work, we propose to relax this assumption by allowing concept examples to be scattered across different clusters in the DNN's latent space. Each concept is then represented by a region of the DNN's latent space that includes these clusters and that we call concept activation region (CAR). To formalize this idea, we introduce an extension of the CAV formalism that is based on the kernel trick and support vector classifiers. This CAR formalism yields global concept-based explanations and local concept-based feature importance. We prove that CAR explanations built with radial kernels are invariant under latent space isometries. In this way, CAR assigns the same explanations to latent spaces that have the same geometry. We further demonstrate empirically that CARs offer (1) more accurate descriptions of how concepts are scattered in the DNN's latent space; (2) global explanations that are closer to human concept annotations and (3) concept-based feature importance that meaningfully relate concepts with each other. Finally, we use CARs to show that DNNs can autonomously rediscover known scientific concepts, such as the prostate cancer grading system.

研究动机与目标

• 解决概念激活向量（CAV）的局限性，即假设潜在空间中概念正例与负例呈线性可分。
• 开发一种更具灵活性和通用性的框架，将概念建模为潜在空间中的空间区域，而非单一方向。
• 提供全局概念解释和局部概念基础的特征重要性，使概念之间具有有意义的关联。
• 确保在潜在空间等距变换下保持不变，提升解释的鲁棒性与一致性。
• 通过实证验证CAR在捕捉概念语义、与人类标注对齐以及实现科学概念自主发现方面的优越性。

提出的方法

• 用基于核的支持向量分类器（SVC）替代CAV中的线性分类器，以在潜在空间中将概念边界建模为非线性区域。
• 使用径向基函数（RBF）核定义概念激活区域（CAR），从而能够建模分散或聚集的概念样本。
• 将TCAR分数定义为核化SVC的输出，以衡量表征激活某一给定概念的程度。
• 将CAR与现有显著性方法结合，生成突出与特定概念相关的特征的概念特异性显著性图。
• 证明使用RBF核的CAR解释在潜在空间等距变换下保持不变，确保几何一致性。
• 在真实世界数据集（MNIST、ECG、CUB）上应用CAR，并与CAV和原始显著性图进行比较，以评估性能与人类对齐程度。

实验结果

研究问题

• RQ1 通过在潜在空间中将概念建模为区域，概念解释框架能否超越CAV的线性可分性假设？
• RQ2 与CAV相比，CAR中使用基于核的SVC在提升全局概念解释的准确性和与人类的一致性方面效果如何？
• RQ3 与原始显著性图相比，CAR生成的显著性图在揭示不同概念之间具有非可互换性的有意义特征重要性方面，程度如何？
• RQ4 CAR框架在潜在空间等距变换下是否保持不变，从而确保在几何等价表示下解释的一致性？
• RQ5 CAR能否从模型表征中自主重新发现已知的科学概念，例如前列腺癌分级系统？

主要发现

• 如图11和图12中10个随机种子的箱线图所示，CAR在MNIST和ECG概念上的概念分类准确率高于CAV。
• 如MNIST和CUB数据集在图13和图14中所示，全局CAR解释与人类概念标注的一致性优于CAV。
• 如图15至图19所示，通过CAR生成的概念基础显著性图与原始显著性图不同，且在不同概念间不可互换。
• 当使用径向核时，CAR解释在潜在空间等距变换下保持不变，证明了其几何鲁棒性。
• CAR成功识别并解释了深度神经网络中的前列腺癌分级系统，展示了其自主重新发现已知科学概念的能力。