[论文解读] Examining the Benefits of Capsule Neural Networks

Arjun Punjabi, Jonas M. Schmid+1 more|arXiv (Cornell University)|Jan 29, 2020

Advanced Neural Network Applications参考文献 33被引用 7

一句话总结

本文通过深度可视化、激活最大化和基于PCA的变换分析，研究胶囊神经网络（CapsNets）的特征表示。研究发现，胶囊特征在编码实例参数（如旋转、缩放）方面优于卷积神经网络（CNNs），且重建网络对于维持判别能力至关重要，而动态路由的实际益处低于其宣称的效果。

ABSTRACT

Capsule networks are a recently developed class of neural networks that potentially address some of the deficiencies with traditional convolutional neural networks. By replacing the standard scalar activations with vectors, and by connecting the artificial neurons in a new way, capsule networks aim to be the next great development for computer vision applications. However, in order to determine whether these networks truly operate differently than traditional networks, one must look at the differences in the capsule features. To this end, we perform several analyses with the purpose of elucidating capsule features and determining whether they perform as described in the initial publication. First, we perform a deep visualization analysis to visually compare capsule features and convolutional neural network features. Then, we look at the ability for capsule features to encode information across the vector components and address what changes in the capsule architecture provides the most benefit. Finally, we look at how well the capsule features are able to encode instantiation parameters of class objects via visual transformations.

研究动机与目标

• 确定胶囊网络在特征表示和功能上是否与传统卷积神经网络（CNNs）存在根本性差异。
• 评估关键架构组件——动态路由和重建网络——在使胶囊特征编码空间变换方面的作用。
• 评估胶囊特征是否能通过视觉变换分析有效表示旋转、缩放和平移等实例参数。
• 通过激活最大化和深度可视化技术，将胶囊特征与CNN特征进行比较，以识别其视觉和结构差异。
• 研究胶囊向量是否以支持在变换下实现鲁棒特征泛化的形式，在多个向量分量中编码信息。

提出的方法

• 使用激活最大化进行深度可视化，生成代表单个胶囊特征内容的图像。
• 对胶囊特征向量应用主成分分析（PCA），以识别主成分，并分析向量分量变化对视觉输出的影响。
• 通过在PCA空间中修改胶囊向量分量并重建相应图像，进行预图像分析，以测试变换编码能力。
• 使用相同的可视化和最大化技术，将胶囊特征与CNN特征进行对比，突出其特征表达能力的差异。
• 通过能量压缩分析，评估移除重建网络和动态路由对胶囊特征质量的影响。
• 通过系统性地修改胶囊向量分量并观察结果图像变换，分析胶囊向量如何编码实例参数。

实验结果

研究问题

• RQ1 在激活最大化输出方面，胶囊特征在视觉和结构上与传统CNN特征有何不同？
• RQ2 胶囊向量分量在多大程度上能编码特定视觉变换（如旋转、缩放和平移）？
• RQ3 动态路由与重建网络在使胶囊特征在变换下实现泛化方面，各自贡献如何？
• RQ4 信息在胶囊向量分量之间如何分布？这种分布是否支持比标量CNN特征更丰富的表征？
• RQ5 对多个胶囊分量进行有序修改，能否产生连贯且可预测的视觉变化，从而表明有效的变换编码？

主要发现

• 与CNN特征不同，胶囊特征在激活最大化下生成连贯且语义明确的图像，表明其具有更丰富的特征表征。
• 胶囊向量能有效编码实例参数：缩放、平移和粗细变化均产生可预测且一致的视觉变换。
• 由于训练数据中旋转变化有限，旋转编码更具挑战性，导致预图像重建中出现部分且不对称的物体旋转。
• 当移除重建网络后，胶囊特征失去判别能力，其特征集中于一两个主成分，行为类似于标量CNN。
• 能量压缩分析表明，同时具备路由和重建的胶囊能将信息分布在多个向量分量中，从而增强鲁棒性。
• 预图像分析证实，在PCA空间中修改胶囊分量会产生视觉上一致的变换，支持胶囊有效编码实例参数的假设。