[论文解读] Interpretable Graph Capsule Networks for Object Recognition

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Dec 3, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 6

一句话总结

本文提出可解释图胶囊网络（GraCapsNets），用基于多头注意力的图池化模块替代胶囊网络中的路由机制，以实现高效、内建的物体识别解释。该模型在参数更少的情况下，实现了更高的分类准确率、更强的对抗鲁棒性，并保持了解耦表示。

ABSTRACT

Capsule Networks, as alternatives to Convolutional Neural Networks, have been proposed to recognize objects from images. The current literature demonstrates many advantages of CapsNets over CNNs. However, how to create explanations for individual classifications of CapsNets has not been well explored. The widely used saliency methods are mainly proposed for explaining CNN-based classifications; they create saliency map explanations by combining activation values and the corresponding gradients, e.g., Grad-CAM. These saliency methods require a specific architecture of the underlying classifiers and cannot be trivially applied to CapsNets due to the iterative routing mechanism therein. To overcome the lack of interpretability, we can either propose new post-hoc interpretation methods for CapsNets or modifying the model to have build-in explanations. In this work, we explore the latter. Specifically, we propose interpretable Graph Capsule Networks (GraCapsNets), where we replace the routing part with a multi-head attention-based Graph Pooling approach. In the proposed model, individual classification explanations can be created effectively and efficiently. Our model also demonstrates some unexpected benefits, even though it replaces the fundamental part of CapsNets. Our GraCapsNets achieve better classification performance with fewer parameters and better adversarial robustness, when compared to CapsNets. Besides, GraCapsNets also keep other advantages of CapsNets, namely, disentangled representations and affine transformation robustness.

研究动机与目标

• 为解决胶囊网络目前缺乏可解释性的问题，因其迭代路由机制导致难以有效应用事后解释方法。
• 通过将可解释的基于图的注意力机制直接嵌入模型架构，提升模型可解释性，实现高效且有效的分类解释。
• 探究路由机制是否对胶囊网络的优势（如解耦表示和对仿射变换的鲁棒性）至关重要。
• 开发一种胶囊网络变体，在保持或提升性能的同时降低模型复杂度，并增强对抗鲁棒性。

提出的方法

• 用基于多头注意力的图池化操作替代胶囊网络中标准的动态路由机制，以建模主胶囊之间的关系。
• 将主胶囊（物体部件）表示为图中的节点，其中边编码部件之间的空间或语义关系。
• 使用可微图池化聚合基于学习注意力权重的相关部件特征，支持端到端训练。
• 利用图池化层的注意力权重作为个体分类决策的内在解释，无需依赖外部显著性方法。
• 将图池化模块整合到胶囊网络架构中，以保持胶囊网络的分层、注意力驱动的特征抽象特性。
• 使用反向传播进行端到端训练，图注意力机制在统一框架中同时提供分类与可解释性。

实验结果

研究问题

• RQ1 基于图的池化机制能否在保持或提升性能的前提下替代胶囊网络中的路由机制？
• RQ2 图池化中的注意力权重能否作为胶囊网络中个体分类决策的有效、内建解释？
• RQ3 与标准胶囊网络和卷积神经网络相比，用图池化替代路由是否能增强对抗鲁棒性？
• RQ4 新架构中胶囊网络的解耦表示与仿射变换鲁棒性是否得以保持？
• RQ5 所提模型能否在参数更少的情况下实现优于传统胶囊网络的性能？

主要发现

• 在SVHN和CIFAR-10数据集上，GraCapsNets的分类准确率优于标准胶囊网络和卷积神经网络，SVHN上提升1.5%，CIFAR-10上提升2.1%。
• 该模型参数量少于标准胶囊网络，展现出更高的参数效率。
• GraCapsNets表现出更优的对抗鲁棒性：在SVHN和CIFAR-10上，攻击成功率显著低于卷积神经网络及其他胶囊网络，尤其在C&W攻击（扰动阈值为0.05）下表现更优。
• 模型保持了解耦表示，通过扰动胶囊激活向量的单个维度并观察重建图像中对应可解释的变化得以验证。
• 在AffNIST基准测试中，模型的仿射变换鲁棒性与标准胶囊网络相当，测试准确率达到80.45%，略高于原始胶囊网络（79%）。
• 通过图注意力生成的内建解释计算效率高——仅需半次前向传播即可完成，无需反向传播，其速度与质量均优于Grad-CAM、IG及SG等方法。