[论文解读] CHAIN: Concept-harmonized Hierarchical Inference Interpretation of Deep Convolutional Neural Networks

Dan Wang, Xinrui Cui+1 more|arXiv (Cornell University)|Feb 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 19被引用 5

一句话总结

CHAIN 提出了一种概念一致的分层推理框架，通过在语义层级上对齐网络单元与视觉概念，实现从高层语义（例如场景）到低层特征（例如部件）的人类式、逐步推理，从而解释深度卷积神经网络。该方法在图像分类任务上通过定性和定量分析，实现了实例级和类别级的可解释、分层决策解释。

ABSTRACT

With the great success of networks, it witnesses the increasing demand for the interpretation of the internal network mechanism, especially for the net decision-making logic. To tackle the challenge, the Concept-harmonized HierArchical INference (CHAIN) is proposed to interpret the net decision-making process. For net-decisions being interpreted, the proposed method presents the CHAIN interpretation in which the net decision can be hierarchically deduced into visual concepts from high to low semantic levels. To achieve it, we propose three models sequentially, i.e., the concept harmonizing model, the hierarchical inference model, and the concept-harmonized hierarchical inference model. Firstly, in the concept harmonizing model, visual concepts from high to low semantic-levels are aligned with net-units from deep to shallow layers. Secondly, in the hierarchical inference model, the concept in a deep layer is disassembled into units in shallow layers. Finally, in the concept-harmonized hierarchical inference model, a deep-layer concept is inferred from its shallow-layer concepts. After several rounds, the concept-harmonized hierarchical inference is conducted backward from the highest semantic level to the lowest semantic level. Finally, net decision-making is explained as a form of concept-harmonized hierarchical inference, which is comparable to human decision-making. Meanwhile, the net layer structure for feature learning can be explained based on the hierarchical visual concepts. In quantitative and qualitative experiments, we demonstrate the effectiveness of CHAIN at the instance and class levels.

研究动机与目标

• 为解决深度 CNN 在视觉任务中缺乏可解释决策逻辑的问题。
• 弥合视觉概念的分层结构与 CNN 分层架构之间的鸿沟。
• 将网络决策建模为从高层语义到低层特征的人类式分层推理过程。
• 利用视觉概念在实例级和类别级提供网络决策的可解释性。
• 通过分层视觉概念分解解释网络层的功能角色。

提出的方法

• 概念一致模型将深层网络单元与高层视觉概念对齐，同时将浅层单元与低层概念对齐，建立语义层次结构。
• 分层推理模型将深层概念表示为浅层单元的稀疏线性组合，实现自底向上的特征分解。
• 概念一致的分层推理模型通过迭代反向推理，从其组成部分的低层概念推断高层概念。
• 该框架使用 3D-PCA 可视化和推理距离度量，定量比较不同图像集之间概念表征的差异。
• 该方法支持实例级解释（针对单张图像）和类别级解释（针对某一类的图像集）。
• 它利用预训练的 CNN 特征和概念标注，构建从输入到决策的结构化、可解释推理路径。

实验结果

研究问题

• RQ1 视觉概念的分层结构（例如场景 → 物体 → 部件）能否与 CNN 的分层架构对齐，以解释特征学习过程？
• RQ2 网络决策能否被解释为一种类似人类推理的分层推理过程，从高层语义逐步推导至低层特征？
• RQ3 如何利用可解释的视觉概念在实例级和类别级解释网络的决策逻辑？
• RQ4 图像集中的类内与类间差异在模型的分层推理模式中体现到何种程度？
• RQ5 所提出的方法能否提供一致且视觉可解释的解释，使其与人类对图像内容的感知相一致？

主要发现

• CHAIN 解释成功地将网络决策表示为从高层视觉概念（例如场景）到低层特征（例如部件）的分层推理链，模拟人类推理过程。
• 在场景层面，带有游泳池的房屋概念与带有路缘石或灌木的房屋概念表现出截然不同的推理模式，反映出周围环境的感知差异。
• 在物体层面，路缘石、灌木和游泳池等概念的推理可在不同图像集中清晰区分，表明对语义内容的高度敏感性。
• 对于房屋类别，尽管周围环境不同，但房屋概念在物体层面的推理在不同图像集中表现出高度相似性，反映出对物体身份感知的一致性。
• 类间分析显示，在场景和物体两个层面，果园类与房屋类的推理模式存在显著差异，证实了该方法捕捉类别级差异的能力。
• 使用推理距离和 3D-PCA 可视化的定量结果表明，CHAIN 解释与人类视觉感知一致，且概念表征呈现出有意义的聚类与分离。