[论文解读] CRAFT: Concept Recursive Activation FacTorization for Explainability

Thomas Fel, Agustin Martin Picard+6 more|arXiv (Cornell University)|Nov 17, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

CRAFT 提出了一种基于概念的可解释性方法，通过使用非负矩阵分解（NMF）进行递归概念分解、Sobol 指数进行忠实的概念重要性估计，以及隐式微分生成概念归因图，实现了对深度学习模型‘看到什么’和‘关注何处’的联合识别。该方法在人类可解释性和模型保真度方面显著优于现有的归因方法和基于概念的方法。

ABSTRACT

Attribution methods, which employ heatmaps to identify the most influential regions of an image that impact model decisions, have gained widespread popularity as a type of explainability method. However, recent research has exposed the limited practical value of these methods, attributed in part to their narrow focus on the most prominent regions of an image -- revealing "where" the model looks, but failing to elucidate "what" the model sees in those areas. In this work, we try to fill in this gap with CRAFT -- a novel approach to identify both "what" and "where" by generating concept-based explanations. We introduce 3 new ingredients to the automatic concept extraction literature: (i) a recursive strategy to detect and decompose concepts across layers, (ii) a novel method for a more faithful estimation of concept importance using Sobol indices, and (iii) the use of implicit differentiation to unlock Concept Attribution Maps. We conduct both human and computer vision experiments to demonstrate the benefits of the proposed approach. We show that the proposed concept importance estimation technique is more faithful to the model than previous methods. When evaluating the usefulness of the method for human experimenters on a human-centered utility benchmark, we find that our approach significantly improves on two of the three test scenarios. Our code is freely available at github.com/deel-ai/Craft.

研究动机与目标

• 解决现有归因方法仅显示模型‘关注何处’但无法揭示其‘看到什么’的局限性。
• 在无需人工标注概念或先验知识的情况下，实现概念发现的自动化。
• 提升模型解释的忠实度与人类可解释性。
• 建立一个统一框架，连接全局概念重要性与局部归因图。
• 通过以人为中心的基准和计算机视觉基准验证该方法的有效性。

提出的方法

• CRAFT 在网络多个层次的特征图上应用非负矩阵分解（NMF），以提取可解释且解耦的概念。
• 采用递归策略逐层分解概念，实现分层概念发现。
• 使用 Sobol 指数估计每个概念的全局重要性，其忠实度高于 TCAV 等先前方法。
• 利用隐式微分反向传播 NMF 衍生的概念值，实现基于梯度的概念归因图（概念 CAMs）。
• 通过可视化使 NMF 系数最大化的图像裁剪区域来解释概念，增强人类可解释性。
• 通过插入/删除曲线以及在概念效用和入侵者检测任务中的人工实验对方法进行评估。

实验结果

研究问题

• RQ1 一种递归的、自监督的方法是否能够在无需人工标注数据的情况下，从深层神经网络的各层中提取出有意义且可解释的概念？
• RQ2 与 TCAV 或其他基线方法相比，使用 Sobol 指数进行概念重要性估计是否能提升忠实度？
• RQ3 通过隐式微分生成的概念归因图是否能比标准像素级归因图更好地解释模型决策？
• RQ4 CRAFT 是否能提升人类在基于概念的推理任务（如识别入侵者或区分子概念）中的表现？
• RQ5 该方法对模型随机化是否具有鲁棒性，表明其捕捉的是学习到的特征而非偶然模式？

主要发现

• CRAFT 基于 Sobol 的概念重要性估计在插入和删除指标上均优于 TCAV，证明其对模型行为具有更高的忠实度。
• 在人工实验中，CRAFT 在以人为中心的效用基准的三个场景中有两个显著提升了表现，尤其在基于概念的推理任务中表现突出。
• 该方法成功从 ImageNet 预测中提取出语义上合理的概念，如‘泥土’、‘滑雪裤’、‘电锯发动机’和‘树干’。
• CRAFT 通过了一项合理性检验：在随机初始化模型上产生了概念上不连贯的结果，证实其捕捉的是学习到的表征而非随机模式。
• 通过隐式微分生成的概念归因图清晰地将模型注意力定位到特定且可解释的视觉特征上，例如在误分类的‘铲子’图像中定位到‘泥土’。
• 递归分解策略实现了对网络深度中高层与低层概念的检测，提升了分层理解能力。