[论文解读] Capsule Network is Not More Robust than Convolutional Network

Jindong Gu, Volker Tresp+1 more|arXiv (Cornell University)|Mar 29, 2021

Adversarial Robustness in Machine Learning参考文献 16被引用 4

一句话总结

这篇论文挑战了胶囊网络（CapsNets）比卷积神经网络（ConvNets）更具鲁棒性的普遍观点。通过全面的消融研究，发现胶囊网络中的动态路由和变换矩阵实际上会损害其对仿射变换和重叠数字的鲁棒性，而诸如挤压函数和类别条件重建等组件则能提升语义紧凑性。作者将这些有益组件引入标准卷积神经网络，使其在所有评估任务中均展现出优于胶囊网络的鲁棒性。

ABSTRACT

The Capsule Network is widely believed to be more robust than Convolutional Networks. However, there are no comprehensive comparisons between these two networks, and it is also unknown which components in the CapsNet affect its robustness. In this paper, we first carefully examine the special designs in CapsNet that differ from that of a ConvNet commonly used for image classification. The examination reveals five major new/different components in CapsNet: a transformation process, a dynamic routing layer, a squashing function, a marginal loss other than cross-entropy loss, and an additional class-conditional reconstruction loss for regularization. Along with these major differences, we conduct comprehensive ablation studies on three kinds of robustness, including affine transformation, overlapping digits, and semantic representation. The study reveals that some designs, which are thought critical to CapsNet, actually can harm its robustness, i.e., the dynamic routing layer and the transformation process, while others are beneficial for the robustness. Based on these findings, we propose enhanced ConvNets simply by introducing the essential components behind the CapsNet's success. The proposed simple ConvNets can achieve better robustness than the CapsNet.

研究动机与目标

• 挑战普遍认为胶囊网络天生比卷积神经网络更具鲁棒性的假设。
• 识别胶囊网络中真正有助于提升鲁棒性的组件，以及那些会降低性能的组件。
• 评估胶囊网络特有组件——动态路由、变换矩阵、挤压函数、边缘损失和重建——对三种鲁棒性度量的影响：仿射变换、重叠数字识别和语义表征质量。
• 证明通过关键胶囊网络组件增强的简单卷积网络，可在所有鲁棒性指标上超越胶囊网络。

提出的方法

• 在三个鲁棒性基准上对胶囊网络组件进行消融研究：仿射变换、重叠数字识别和语义表征紧凑性。
• 实现一个改进的卷积网络基线模型，采用全局平均池化，以提升空间不变性和泛化能力。
• 单独引入并评估胶囊网络的关键组件：动态路由、变换矩阵、挤压函数、边缘损失和类别条件重建。
• 基于表征向量归一化方差与均匀先验之间的KL散度，定义紧凑性得分，以量化语义表征质量。
• 对胶囊和特征激活施加扰动，以分析重构图像中语义敏感性。
• 在受控环境下于MNIST和FMNIST数据集上训练并比较模型，以隔离各组件的影响。

实验结果

研究问题

• RQ1 胶囊网络中的动态路由机制是否真正提升了对仿射变换的鲁棒性，还是反而降低了性能？
• RQ2 胶囊网络中非共享的变换矩阵和权重在识别重叠数字方面起到了多大作用？
• RQ3 挤压函数和类别条件重建损失是否能提升标准卷积网络的语义表征紧凑性？
• RQ4 胶囊网络所表现出的鲁棒性，是源于其架构本身，还是仅仅因为先前比较中使用的卷积网络基线过弱？
• RQ5 通过关键胶囊网络组件增强的简单卷积网络，是否能在所有鲁棒性指标上均优于胶囊网络？

主要发现

• 先前胶囊网络比较中使用的标准卷积网络基线缺乏全局平均池化，削弱了其空间不变性和泛化能力，从而影响了公平比较。
• 胶囊网络中的动态路由会损害对仿射变换的鲁棒性，与普遍认为其能增强不变性的观点相矛盾。
• 胶囊网络识别重叠数字的能力主要源于非共享变换矩阵带来的模型容量提升，而非路由机制或向量表征本身。
• 挤压函数和类别条件重建损失显著提升了语义表征的紧凑性，且这些组件可有效迁移至卷积网络。
• 融合了挤压函数和类别条件重建的增强型卷积网络在所有三项鲁棒性基准中均优于胶囊网络，包括仿射变换、重叠数字识别和紧凑性。
• ConvNet-CR-SF（含重建与挤压）的紧凑性得分为0.3192（trans-Y），显著高于胶囊网络的0.0464，证明其语义表征更优。