[论文解读] Dense and Diverse Capsule Networks: Making the Capsules Learn Better

Sai Samarth R Phaye, Apoorva Sikka+2 more|arXiv (Cornell University)|May 10, 2018

Advanced Neural Network Applications参考文献 14被引用 45

一句话总结

本文提出 Dense Capsule Networks (DCNet) 与 Diverse Capsule Networks (DCNet++)，它们用密集连接卷积替代标准卷积，以学习更丰富的初级胶囊，实现更快收敛并在 MNIST 及其他数据集上提高精度，包括在 CIFAR-10 上的强劲结果，且参数量更少。

ABSTRACT

Past few years have witnessed exponential growth of interest in deep learning methodologies with rapidly improving accuracies and reduced computational complexity. In particular, architectures using Convolutional Neural Networks (CNNs) have produced state-of-the-art performances for image classification and object recognition tasks. Recently, Capsule Networks (CapsNet) achieved significant increase in performance by addressing an inherent limitation of CNNs in encoding pose and deformation. Inspired by such advancement, we asked ourselves, can we do better? We propose Dense Capsule Networks (DCNet) and Diverse Capsule Networks (DCNet++). The two proposed frameworks customize the CapsNet by replacing the standard convolutional layers with densely connected convolutions. This helps in incorporating feature maps learned by different layers in forming the primary capsules. DCNet, essentially adds a deeper convolution network, which leads to learning of discriminative feature maps. Additionally, DCNet++ uses a hierarchical architecture to learn capsules that represent spatial information in a fine-to-coarser manner, which makes it more efficient for learning complex data. Experiments on image classification task using benchmark datasets demonstrate the efficacy of the proposed architectures. DCNet achieves state-of-the-art performance (99.75%) on MNIST dataset with twenty fold decrease in total training iterations, over the conventional CapsNet. Furthermore, DCNet++ performs better than CapsNet on SVHN dataset (96.90%), and outperforms the ensemble of seven CapsNet models on CIFAR-10 by 0.31% with seven fold decrease in number of parameters.

研究动机与目标

• 通过密集连接卷积提升 CapsNet 的性能和收敛速度。
• 利用密集特征级联来学习多样化的初级胶囊。
• 通过分层的粗到细胶囊表示来解决在复杂数据集（如 CIFAR-10）上的局限性。
• 在维持或提高准确度的同时降低模型复杂度。
• 探讨受 DenseNet 启发的重建解码器改进。

提出的方法

• 在 CapsNet 中用一个 8 层的密集卷积子网络替代标准卷积层，该子网络在各层之间拼接特征以形成初级胶囊。
• 在最后的密集块形成 32 个八维的初级胶囊，然后应用路由-由-一致性来生成 DigitCaps。
• 修改解码器，将第一层和第二层特征拼接以获得更好的重建。
• 引入 DCNet++，作为一个分层的多级架构（三级），学习从细到粗的空间特征并在各级之间共享表征。
• 使用有引导的反向传播来分析激活并在尺度之间推动多样化的胶囊表示。
• 在参数数量与基线相同的情况下进行训练以实现公平比较，并调整重建损失的缩放以平衡训练。

实验结果

研究问题

• RQ1 密集、跳跃连接的卷积是否能够提升胶囊的质量并相较于基线 CapsNet 加速收敛？
• RQ2 引入层级结构和多样化初级胶囊（DCNet++）是否相对于单一 CapsNet 和 DCNet 在像 CIFAR-10 这样复杂数据集上提升性能？
• RQ3 用密集连接替代下采样（ pooling）对胶囊保留空间信息有何影响？
• RQ4 重建解码器是否可以从密集多层融合中获益，以获得更好的重建并帮助学习？

主要发现

• DCNet 在 MNIST 上以 50 个 epoch 获得 99.75% 的测试准确率，总训练迭代次数比常规模 CapsNet 少二十倍。
• DCNet 在 Fashion-MNIST（100 个 epoch）上达到 94.64%，在可比设置下优于基线 CapsNet。
• 在 SVHN 上，DCNet 提升到 95.59%（相较于复制的 CapsNet 的 93.23%），而 DCNet++ 进一步提升至 96.90%。
• DCNet++ 在 CIFAR-10 达到 89.71% 的准确率，参数量为 13.4M，相较于七模型 CapsNet 集成（89.40%）在参数显著更少的情况下超越。
• DCNet 在 SmallNORB 和脑肿瘤数据集上显示出显著改进，DCNet++ 提供一个层次化的从细到粗的学习机制来应对复杂数据。
• 总体而言，DCNet 变体在参数数量减少或与现有 CapsNet 基线及集成相比具有竞争力或更优的性能。）