[论文解读] Concept Gradient: Concept-based Interpretation Without Linear Assumption

Andrew Bai, Chih‐Kuan Yeh+3 more|arXiv (Cornell University)|Aug 31, 2022

Data Stream Mining Techniques被引用 5

一句话总结

本文提出了概念梯度（Concept Gradients, CG），作为概念激活向量（Concept Activation Vectors, CAV）的非线性扩展，通过链式法则计算模型预测结果相对于事后定义的概念函数的梯度，从而实现更精确且具有因果解释性的概念重要性估计。在真实世界数据集上，CG在平均局部召回率@30上比CAV高出7.9%，在全局召回率@30上高出21.7%，同时在线性情况下可恢复CAV结果。

ABSTRACT

Concept-based interpretations of black-box models are often more intuitive for humans to understand. The most widely adopted approach for concept-based interpretation is Concept Activation Vector (CAV). CAV relies on learning a linear relation between some latent representation of a given model and concepts. The linear separability is usually implicitly assumed but does not hold true in general. In this work, we started from the original intent of concept-based interpretation and proposed Concept Gradient (CG), extending concept-based interpretation beyond linear concept functions. We showed that for a general (potentially non-linear) concept, we can mathematically evaluate how a small change of concept affecting the model's prediction, which leads to an extension of gradient-based interpretation to the concept space. We demonstrated empirically that CG outperforms CAV in both toy examples and real world datasets.

研究动机与目标

• 解决概念激活向量（CAV）的局限性，后者依赖于概念位于模型激活空间线性子空间的严格假设。
• 开发一种方法，实现在概念空间中的基于梯度的解释，捕捉概念微小变化对模型预测的影响。
• 提供一种具有因果解释性的概念重要性度量，避免在CAV中使用的基于相关性的内积方法。
• 证明在真实世界数据集中，非线性概念函数相比线性近似能产生更准确、更鲁棒的概念重要性评分。
• 在心脏病影像分类任务中验证CG，表明其结果与临床知识在心肌梗死并发症方面具有一致性。

提出的方法

• CG计算模型输出和概念函数相对于输入的输入梯度。
• 通过链式法则结合这些梯度，有效估计模型输出相对于概念的导数，从而实现基于梯度的概念重要性。
• 该方法捕捉了模型预测对概念变化的局部敏感性，即使概念是非线性定义的亦可。
• 当概念函数为线性时，CG在数学上可恢复CAV方法（存在缩放差异），表明与先前工作的理论一致性。
• 在存在非唯一映射的情况下，CG选择梯度范数最小的映射，防止对概念重要性的高估。
• 该方法应用于概念模型微调前的网络层，确保与标准深度学习流水线的兼容性。

实验结果

研究问题

• RQ1 能否将基于梯度的解释有意义地从输入特征扩展到事后定义的非线性概念？
• RQ2 放宽CAV对线性子空间的假设，是否能带来更准确、更可靠的的概念重要性估计？
• RQ3 在具有复杂非线性概念的真实世界数据集中，CG与CAV在召回性能方面有何差异？
• RQ4 CG能否在心脏病影像解释任务中产生与临床知识一致的概念重要性评分？
• RQ5 在存在多个概念映射的情况下，CG是否能避免对概念重要性的高估？

主要发现

• CG在概念重要性评估中始终优于CAV，在所有数据集上的平均最佳局部召回率@30高出7.9%。
• CG的全局召回率@30比最佳CAV性能高出21.7%，表明其在检索相关概念方面表现更优。
• 在心肌梗死并发症的医学数据集中，CG评分与临床文献一致，例如正确将复发性心肌梗死和心力衰竭列为高风险并发症。
• 对于罕见但致命的并发症如心肌破裂，CG赋予其较高的重要性评分（1.62），与临床报告中高死亡率的描述一致。
• 当CAV产生反直觉或误导性的评分（例如，对已知危险因素给出负值）时，CG提供了更合理且可解释的结果。
• 当概念函数为线性时，CG在数学上精确恢复CAV方法，验证了其理论一致性。