[论文解读] Abstracting Deep Neural Networks into Concept Graphs for Concept Level Interpretability

Avinash Kori, Parth Natekar+2 more|arXiv (Cornell University)|Aug 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 34被引用 5

一句话总结

本文提出一种事后方法，将训练好的深度神经网络抽象为医学图像解释用的概念图，通过学习滤波器的聚类识别人类可理解的概念，并利用互信息建模它们之间的关系。该方法揭示了具有医学相关性的推理路径——如肿瘤边界检测和糖尿病性视网膜病变特征——展示了无需人工概念标注的概念可解释性。

ABSTRACT

The black-box nature of deep learning models prevents them from being completely trusted in domains like biomedicine. Most explainability techniques do not capture the concept-based reasoning that human beings follow. In this work, we attempt to understand the behavior of trained models that perform image processing tasks in the medical domain by building a graphical representation of the concepts they learn. Extracting such a graphical representation of the model's behavior on an abstract, higher conceptual level would unravel the learnings of these models and would help us to evaluate the steps taken by the model for predictions. We show the application of our proposed implementation on two biomedical problems - brain tumor segmentation and fundus image classification. We provide an alternative graphical representation of the model by formulating a concept level graph as discussed above, which makes the problem of intervention to find active inference trails more tractable. Understanding these trails would provide an understanding of the hierarchy of the decision-making process followed by the model. [As well as overall nature of model]. Our framework is available at https://github.com/koriavinash1/BioExp

研究动机与目标

• 为解决生物医学中深度学习模型缺乏基于概念的可解释性问题，其中黑箱决策阻碍临床信任。
• 克服基于样本或注意力的可解释性方法的局限性，这些方法无法有效表示学习到的概念之间的关系。
• 开发一种事后方法，从训练好的模型中提取可解释的高层概念图，无需依赖预定义的概念输入。
• 使临床医生能够通过基于解剖学和病理学相关性的主动推理路径，追溯模型的决策逻辑。
• 在真实医学影像任务上验证该方法，并获取放射科医生和眼科医生的专家反馈。

提出的方法

• 使用欧几里得距离对用户指定网络层中通道的滤波器权重向量进行聚类，以识别专门检测单个视觉概念的组别。
• 将每个聚类表示为概念图中的一个节点，其中节点对应于抽象的、人类可理解的概念（例如，肿瘤核心、出血灶）。
• 使用基于互信息的度量方法估计概念节点之间的边，以建模网络中功能关系和依赖性。
• 通过改进的Grad-CAM技术可视化概念激活，以定位输入图像中每个概念被检测到的位置。
• 通过追踪通往最终预测的活跃路径，在概念图中构建推理路径，识别概念激活的序列。
• 利用放射科医生和眼科医生的反馈，验证提取的概念路径及其层次结构的临床相关性。

实验结果

研究问题

• RQ1 深度神经网络能否被抽象为反映学习到的视觉概念之间关系的可解释概念图？
• RQ2 模型中推断出的概念路径是否与放射科医生和眼科医生观察到的临床推理模式一致？
• RQ3 在无显式监督或输入概念标注的情况下，医学相关特征（如肿瘤边界或视网膜出血灶）能否自然地从模型中浮现？
• RQ4 所识别的推理路径在多大程度上反映了类似于人类专家的分层、基于概念的决策过程？
• RQ5 该概念图框架能否通过揭示模型偏差和决策路径，提升医学人工智能的信任度与透明度？

主要发现

• 该方法成功从脑肿瘤分割和糖尿病性视网膜病变分类模型中提取了概念图，其中肿瘤核心、边界和出血灶等概念自然地从滤波器聚类中浮现。
• 放射科医生确认，模型在肿瘤分割任务中的推理路径遵循从外侧到内侧、从前部到上部的注意力模式，与临床阅片实践一致。
• 模型对肿瘤边界识别（概念 $C_3$）的关注被认定对神经外科医生具有临床价值，因其有助于在活检或切除过程中最小化对健康组织的损伤。
• 在糖尿病性视网膜病变分类任务中，眼科医生在推断出的概念路径中识别出关键特征，如硬性渗出、软性渗出、点状出血灶和激光瘢痕，尽管这些特征未被显式训练。
• 概念图揭示了概念之间的层次关系，例如从微动脉瘤检测到出血灶的进展，反映了临床分级过程。
• 该框架表明，基于概念的推理路径既具有可解释性，又具备临床意义，为模型决策提供了无需输入层面概念标注的透明、事后解释。