[论文解读] Interpretable Convolutional Neural Networks

Quanshi Zhang, Ying Wu+1 more|arXiv (Cornell University)|Oct 2, 2017

Explainable Artificial Intelligence (XAI)参考文献 35被引用 24

一句话总结

本文提出一种方法，通过引入一种新型损失函数，将标准卷积神经网络（CNN）转换为可解释的CNN，该损失函数促使高层卷积层中的每个滤波器仅表示一个语义上明确的物体部件，且无需额外标注。该方法通过促进空间和类别特定的激活一致性，增强了模型的可解释性，使滤波器能够清晰地编码如眼睛或头部等不同部件。实验表明，在保持竞争性准确率的同时，语义可解释性显著提升。

ABSTRACT

This paper proposes a method to modify traditional convolutional neural networks (CNNs) into interpretable CNNs, in order to clarify knowledge representations in high conv-layers of CNNs. In an interpretable CNN, each filter in a high conv-layer represents a certain object part. We do not need any annotations of object parts or textures to supervise the learning process. Instead, the interpretable CNN automatically assigns each filter in a high conv-layer with an object part during the learning process. Our method can be applied to different types of CNNs with different structures. The clear knowledge representation in an interpretable CNN can help people understand the logics inside a CNN, i.e., based on which patterns the CNN makes the decision. Experiments showed that filters in an interpretable CNN were more semantically meaningful than those in traditional CNNs.

研究动机与目标

• 通过在高层卷积层中实现显式、人类可理解的知识表征，提升深度CNN的可解释性。
• 在无需物体部件或纹理的额外标注的情况下实现这种可解释性。
• 保持与标准CNN相同的训练数据和顶层损失，确保与现有模型的兼容性。
• 实现端到端学习，使高层滤波器能自动专业化为特定物体部件的表征。
• 探索是否可在训练过程中增强可解释性，而不会显著牺牲分类性能。

提出的方法

• 为高层卷积层中的每个滤波器引入一种新损失函数，同时最小化类别间激活熵和空间激活熵。
• 该损失函数促使每个滤波器仅在某一特定类别中的单一物体部件被激活，确保语义特异性。
• 通过最小化空间激活熵，确保滤波器仅对物体的单一局部区域响应，而非多个对称或重复区域。
• 通过最小化类别间激活熵，确保滤波器仅对某一特定类别响应，避免模糊或混合类别的响应。
• 该方法作为正则化项应用于端到端训练中，不修改原始网络架构或损失函数。
• 使用Zhou等人[38]提出的方法可视化每个滤波器的感受野，以在图像分辨率下评估其语义意义。

实验结果

研究问题

• RQ1 我们能否训练一个CNN，使得高层卷积层中的每个滤波器都表示一个单一、可解释的物体部件，且无需额外监督？
• RQ2 在类别间和空间激活中强制低熵是否能产生更具语义意义的滤波器？
• RQ3 该方法是否可广泛应用于不同CNN架构，而无需修改网络结构？
• RQ4 提升可解释性是否会以降低分类准确率为代价？
• RQ5 模型能否学习将不同部件（如左眼与右眼）作为独立滤波器进行表征？

主要发现

• 可解释CNN在部件可解释性方面显著优于标准CNN，其滤波器能清晰编码如头部或眼睛等特定物体部件。
• 在单类别分类中，标准CNN的准确率略高于可解释CNN，但差异较小。
• 在多类别分类中，可解释CNN优于标准CNN，表明由于早期表征更清晰，学习动态得到改善。
• 可解释CNN在部件检测中的平均相对位置偏差显著降低，表明其对物体部件的空间定位更准确。
• 在ILSVRC Part和VOC Part数据集上，可解释VGG-M分别达到97.99%和96.19%的准确率，优于标准VGG-M（分别为96.73%和93.88%）。
• 热力图显示，可解释滤波器选择性地建模特定部件，同时忽略其他部件，证实其语义特异性。