[论文解读] Human-Centered Concept Explanations for Neural Networks

Chih‐Kuan Yeh, Been Kim+1 more|arXiv (Cornell University)|Feb 25, 2022

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文通过使用概念激活向量（CAVs）在神经网络激活空间中表示人类可理解的概念，提出了一种以人为本的概念解释方法。它展示了基于概念的解释如何弥合人类推理与模型预测之间的鸿沟，从而在医学和强化学习等现实应用场景中实现更直观、语义更清晰的解释。

ABSTRACT

Understanding complex machine learning models such as deep neural networks with explanations is crucial in various applications. Many explanations stem from the model perspective, and may not necessarily effectively communicate why the model is making its predictions at the right level of abstraction. For example, providing importance weights to individual pixels in an image can only express which parts of that particular image are important to the model, but humans may prefer an explanation which explains the prediction by concept-based thinking. In this work, we review the emerging area of concept based explanations. We start by introducing concept explanations including the class of Concept Activation Vectors (CAV) which characterize concepts using vectors in appropriate spaces of neural activations, and discuss different properties of useful concepts, and approaches to measure the usefulness of concept vectors. We then discuss approaches to automatically extract concepts, and approaches to address some of their caveats. Finally, we discuss some case studies that showcase the utility of such concept-based explanations in synthetic settings and real world applications.

研究动机与目标

• 为弥合模型层面解释（如特征重要性）与人类推理之间的差距，提出基于概念的解释方法。
• 开发一种框架，使人类可理解的概念（如“左侧行走的骨架”或“细胞核纹理”）可用于解释复杂的神经网络决策。
• 通过与医学和科学成像等领域的既定概念知识对齐，提升向领域专家有效传达模型行为的能力。
• 将概念解释与现有XAI方法（如基于特征的方法、反事实解释）相结合，实现更丰富、多层次的可解释性。
• 探索概念解释在现实世界应用中的实用性，包括医学诊断和强化学习。

提出的方法

• 使用概念激活向量（CAVs）将概念表示为神经网络激活空间中的方向，从而量化概念对模型预测的影响。
• 通过统计度量（如激活空间中的线性可分性和方向一致性）定义概念的有用性。
• 将CAVs与事后解释技术（如LRP、积分梯度）结合，解释单个概念对模型输出的贡献。
• 在强化学习中，使用符号推理（如类似STRIPS的模型）对概念得分进行处理，以生成对比性解释。
• 在合成与真实世界场景中使用人工标注的概念，验证解释的可解释性与专家直觉的一致性。
• 利用基于概念的解释发现并传达高层次模式，如在飓风预测中的“眼”或在急性肾损伤检测中的“非甾体抗炎药（NSAIDs）”。

实验结果

研究问题

• RQ1 与传统的特征层面解释相比，基于概念的解释在多大程度上能提升深度神经网络的可解释性？
• RQ2 在高维激活空间中，何种特性使概念向量具有实用性且易于人类理解？
• RQ3 如何在医学影像等现实领域中自动提取并验证概念解释？
• RQ4 基于概念的解释在哪些方面可与其它XAI方法（如反事实、显著性图）结合，以增强可解释性？
• RQ5 在医疗和科学发现等高风险应用中，概念解释能否有效向领域专家传达模型决策？

主要发现

• 使用CAVs的概念解释相比像素级或特征级解释，能实现更直观、语义更清晰的解释。
• 在医学影像中，'细胞核纹理'和'射血分数'等概念被识别为准确诊断的关键因素，与专家知识高度一致。
• 在强化学习中，基于概念得分构建的符号模型成功生成了对比性解释，如“动作A未被选择，因为前提条件B不满足”。
• 在热带气旋预测中，'眼'的概念以及在急性肾损伤检测中'NSAIDs'的概念均被发现具有高度预测性且可解释。
• 将概念解释与现有XAI方法结合，显著提升了各类应用中模型解释的深度与清晰度。
• 以人为本的概念解释弥合了黑箱模型与专家推理之间的鸿沟，尤其在领域特定概念已建立的领域中更为显著。