[论文解读] Interpreting CNNs via Decision Trees

Quanshi Zhang, Yang Yu+2 more|arXiv (Cornell University)|Feb 1, 2018

Explainable Artificial Intelligence (XAI)参考文献 45被引用 27

一句话总结

本文提出一种方法，通过学习将高层特征激活映射到语义物体部件的决策树，来解释预训练的卷积神经网络（CNN），从而实现对每个预测结果的可量化、人类可读的解释。该方法将滤波器解耦为可解释的部件，以粗到细的方式组织决策模式，并报告每个部件对预测分数的数值贡献，其在语义清晰度和推理保真度方面优于像素级解释。

ABSTRACT

This paper aims to quantitatively explain rationales of each prediction that is made by a pre-trained convolutional neural network (CNN). We propose to learn a decision tree, which clarifies the specific reason for each prediction made by the CNN at the semantic level. I.e., the decision tree decomposes feature representations in high conv-layers of the CNN into elementary concepts of object parts. In this way, the decision tree tells people which object parts activate which filters for the prediction and how much they contribute to the prediction score. Such semantic and quantitative explanations for CNN predictions have specific values beyond the traditional pixel-level analysis of CNNs. More specifically, our method mines all potential decision modes of the CNN, where each mode represents a common case of how the CNN uses object parts for prediction. The decision tree organizes all potential decision modes in a coarse-to-fine manner to explain CNN predictions at different fine-grained levels. Experiments have demonstrated the effectiveness of the proposed method.

研究动机与目标

• 提供超越像素级显著性图的语义化、可量化的卷积神经网络预测解释。
• 在无需部件标注的情况下，将高层卷积神经网络滤波器解耦为可解释的物体部件概念。
• 将每个预测的推理过程建模为树中的决策路径，捕捉图像间共有的决策模式。
• 使用户能够理解*哪些部件*以及*每个部件的贡献程度*如何影响卷积神经网络的最终输出。
• 弥合抽象特征表示与人类可理解的、语言化的卷积神经网络行为解释之间的差距。

提出的方法

• 在高层卷积层中训练具有解耦滤波器的卷积神经网络，使得每个滤波器在图像中一致地激活于单一物体部件，且无需部件标注。
• 学习一个决策树，以粗到细的层次结构组织潜在的决策模式，表示物体部件如何组合以实现预测。
• 对于每张输入图像，从决策树中推断出一个解析树，将神经激活映射到特定物体部件及其贡献。
• 利用决策树节点估算每个物体部件（滤波器）对最终预测分数的数值贡献。
• 应用正则化方案以抑制不显著的滤波器，确保决策路径稀疏且有意义。
• 通过在树状表示上测量信息损失，评估分类准确率和预测误差来衡量方法性能。

实验结果

研究问题

• RQ1 我们能否自动发现并使用决策树表示卷积神经网络预测背后的语义推理过程？
• RQ2 决策树在多大程度上能够捕捉卷积神经网络在同类图像中使用的常见决策模式？
• RQ3 决策树在多大程度上能提供关于滤波器贡献到预测结果的可量化、人类可解释的解释？
• RQ4 与Grad-CAM等像素级可视化方法相比，该模型在解释保真度方面的表现如何？
• RQ5 该方法能否在无部件标注的情况下，泛化到不同的卷积神经网络架构和数据集？

主要发现

• 决策树成功地以粗到细的结构编码了卷积神经网络的所有潜在决策模式，实现了预测的分层解释。
• 在CUB200-2011数据集上，使用VGG-M架构时，该方法达到了96.5%的top-1准确率，证明了其强大的预测性能。
• 在ILSVRC Animal-Part数据集中，决策树第二层的平均预测误差为0.052，表明解释过程中的信息损失较低。
• 细粒度的决策模式（如第100层）的误差率（0.034）低于较粗的层级，证实了推理估计的更高保真度。
• 在VOC Part数据集上，使用VGG-16架构时，该方法达到了95.4%的准确率，表明其在不同架构间的鲁棒性。
• 在所有数据集和模型上的平均分类准确率均保持在90%以上，验证了该方法的一致性和有效性。