[论文解读] Dynamic Routing Between Capsules

Sara Sabour, Nicholas Frosst+1 more|arXiv (Cornell University)|Oct 26, 2017

Topic Modeling参考文献 16被引用 88

一句话总结

Capsule networks (CapsNets) 使用向量表示实例化参数和存在性，以及 routing-by-agreement 机制，动态将输出路由到更高层的胶囊，在 MNIST 上取得出色的性能并对重叠数字具有鲁棒性。

ABSTRACT

A capsule is a group of neurons whose activity vector represents the instantiation parameters of a specific type of entity such as an object or an object part. We use the length of the activity vector to represent the probability that the entity exists and its orientation to represent the instantiation parameters. Active capsules at one level make predictions, via transformation matrices, for the instantiation parameters of higher-level capsules. When multiple predictions agree, a higher level capsule becomes active. We show that a discrimininatively trained, multi-layer capsule system achieves state-of-the-art performance on MNIST and is considerably better than a convolutional net at recognizing highly overlapping digits. To achieve these results we use an iterative routing-by-agreement mechanism: A lower-level capsule prefers to send its output to higher level capsules whose activity vectors have a big scalar product with the prediction coming from the lower-level capsule.

研究动机与目标

• 激励一种表示，其中胶囊输出是向量，编码实例化参数，并以向量长度表示存在性。
• 引入基于一致性的动态路由，将低级胶囊输出分配给合适的高级胶囊。
• 显示带有路由与重构正则化的 CapsNets 在参数更少的情况下达到与 MNIST 竞争力的准确度。
• 展示对仿射变换的鲁棒性以及分割高度重叠数字的能力。

提出的方法

• 将胶囊定义为一组向量输出的神经元，其中长度表示存在概率，方向编码实例化参数。
• 使用变换矩阵来预测高级胶囊的实例化，并使用基于一致性的路由来调整耦合系数。
• 使用 squashing 非线性函数使胶囊输出长度保持在 [0,1) 。
• 实现迭代路由（对耦合对数做 softmax），基于预测与输出之间的一致性（点积）来细化哪些低级胶囊馈送给哪些高级胶囊。
• 使用每个数字类别的边界损失进行训练，以鼓励正确的存在/不存在信号；在数字胶囊上求和。
• 可选地使用重构解码器，通过从目标数字胶囊重构输入来对姿态编码进行正则化。

实验结果

研究问题

• RQ1 向量化的胶囊表示结合基于一致性的路由，是否能够在像 MNIST 这样的数字识别任务上超越 CNN？
• RQ2 作为正则化的重构是否提升姿态编码质量和路由性能？
• RQ3 与传统 CNN 相比，CapsNet 如何处理高度重叠的数字和仿射变换？
• RQ4 路由迭代次数和模型大小对分类准确性和分割能力有何影响？

主要发现

• 带有路由的 CapsNets 在 3 次路由迭代和重构正则化下实现 0.25% 的 MNIST 错误率。
• CapsNet 带路由且不带重构时 MNIST 错误率为 0.34%；带路由和重构为 0.29%；1 次迭代与 3 次迭代的比较显示性能提升。
• CapsNet 在 MNIST 上使用 8.2M 参数（若不含重构则为 6.8M），而可比的 CNN 基线为 35.4M。
• CapsNet 在 MNIST 上实现 0.25%，在 MultiMNIST 上实现 5.2%；重构正则化提升路由性能。
• CapsNet 展示出对仿射变换的鲁棒性，并且可以通过 routing by agreement 对高度重叠的数字进行分割。
• 在 CIFAR-10 上，CapsNets 的一个集成达到 10.6% 测试误差，与早期 CNN 结果相当；在 smallNORB 与 SVHN 上，报道了有竞争力的表现。