[论文解读] Capsule Networks with Max-Min Normalization

Zhao Zhen, Ashley Kleinhans+3 more|arXiv (Cornell University)|Mar 22, 2019

Advanced Neural Network Applications参考文献 15被引用 40

一句话总结

本文在 CapsNets 的路由中用尺度不变的最大-最小归一化替代 Softmax 路由，在五个数据集上提高准确率，并在不降低性能的情况下启用更多的路由迭代。

ABSTRACT

Capsule Networks (CapsNet) use the Softmax function to convert the logits of the routing coefficients into a set of normalized values that signify the assignment probabilities between capsules in adjacent layers. We show that the use of Softmax prevents capsule layers from forming optimal couplings between lower and higher-level capsules. Softmax constrains the dynamic range of the routing coefficients and leads to probabilities that remain mostly uniform after several routing iterations. Instead, we propose the use of Max-Min normalization. Max-Min performs a scale-invariant normalization of the logits that allows each lower-level capsule to take on an independent value, constrained only by the bounds of normalization. Max-Min provides consistent improvement in test accuracy across five datasets and allows more routing iterations without a decrease in network performance. A single CapsNet trained using Max-Min achieves an improved test error of 0.20% on the MNIST dataset. With a simple 3-model majority vote, we achieve a test error of 0.17% on MNIST.

研究动机与目标

• 通过解决 Softmax 的局限性来推动 CapsNet 动态路由的改进。
• 提出将 Max-Min 归一化作为一种尺度不变的路由系数归一化。
• 在多个数据集和路由迭代下评估 Max-Min。
• 展示改进的 MNIST 性能及潜在的模型集成优势。

提出的方法

• 在 CapsNets 的路由过程里将 Softmax 替换为 Max-Min。
• 允许路由系数独立地被限制在 0 到 1 之间。
• 使用包含 PrimaryCaps 和 DigitCaps 层的三层 CapsNet 架构。
• 使用标准的边距和重建损失进行训练，并添加路由迭代。
• 比较 Softmax 与 Max-Min 下对数 logits 与路由系数的演变。

实验结果

研究问题

• RQ1 在不同数据集上，Max-Min 归一化是否比 Softmax 改善了 CapsNet 的路由质量？
• RQ2 Max-Min 如何影响路由系数的动态和胶囊层之间的特征绑定？
• RQ3 在不产生过拟合的情况下，通过增加 Max-Min 的路由迭代是否能提升准确度？
• RQ4 相对 Softmax，Max-Min 对 MNIST 性能有何影响？
• RQ5 在两种归一化下，DigitCaps 输出是否存在定性差异？

主要发现

归一化	MNIST [%]	rMNIST [%]	fMNIST [%]	bMNIST [%]	CIFAR10 [%]
Softmax	99.28 ± 0.06	93.72 ± 0.08	90.52 ± 0.14	89.08 ± 0.19	73.65 ± 0.09
Max-Min	99.55 ± 0.02	95.42 ± 0.03	92.07 ± 0.12	93.09 ± 0.04	75.92 ± 0.27

• 与 Softmax 相比，Max-Min 在 MNIST、rMNIST、fMNIST、bMNIST 和 CIFAR10 上持续提升测试准确率。
• Max-Min 允许更多的路由迭代而不降低性能，并减少过拟合。
• 单个 CapsNet 使用 Max-Min 在 MNIST 上达到 0.20% 的测试误差；3 模型集成达到 0.17%。
• 在 Max-Min 下，路由系数显示出更大的变动，并使多个更高层次的胶囊获得较高的分配。
• Max-Min 下的 MNIST 结果接近最先进水平，同时使用最少的数据增强。