[论文解读] Adaptive Routing Between Capsules

Qiang Ren, Shaohua Shang+1 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 17被引用 4

一句话总结

本文提出了一种胶囊网络的自适应路由算法，通过消除耦合系数以防止深层堆叠过程中的梯度消失，从而实现更深网络的稳定训练。通过用可学习超参数λ替代迭代路由，该方法在减少计算量的同时，在MNIST、Fashion-MNIST、SVHN和CIFAR-10上实现了最先进性能。

ABSTRACT

Capsule network is the most recent exciting advancement in the deep learning field and represents positional information by stacking features into vectors. The dynamic routing algorithm is used in the capsule network, however, there are some disadvantages such as the inability to stack multiple layers and a large amount of computation. In this paper, we propose an adaptive routing algorithm that can solve the problems mentioned above. First, the low-layer capsules adaptively adjust their direction and length in the routing algorithm and removing the influence of the coupling coefficient on the gradient propagation, so that the network can work when stacked in multiple layers. Then, the iterative process of routing is simplified to reduce the amount of computation and we introduce the gradient coefficient $λ$. Further, we tested the performance of our proposed adaptive routing algorithm on CIFAR10, Fashion-MNIST, SVHN and MNIST, while achieving better results than the dynamic routing algorithm.

研究动机与目标

• 解决在堆叠多层时胶囊网络中的梯度消失问题，该问题阻碍了深层网络的训练。
• 克服动态路由的局限性，特别是耦合系数稀疏性对梯度流的抑制作用。
• 通过简化迭代路由过程，在不损失性能的前提下降低计算成本。
• 通过将梯度传播与耦合系数解耦，实现更深胶囊网络的稳定训练。
• 通过可学习超参数λ优化性能，以替代动态路由中的固定迭代次数。

提出的方法

• 将动态路由机制中的耦合系数c_ij替换为对低层胶囊状态的自适应更新，从而消除c_ij对梯度流的影响。
• 仅在每次迭代中更新低层胶囊激活值和路由向量，提升梯度向早期层的传输效率。
• 引入一个控制路由强度的超参数λ，以替代动态路由中的固定迭代次数。
• 通过移除迭代耦合系数更新，简化路由过程，降低计算开销。
• 利用λ调节梯度放大，实现更有效的反向传播，适用于深层胶囊网络架构。
• 设计路由过程，使低层胶囊能够自适应地与高层胶囊预测对齐，提升特征表示能力。

实验结果

研究问题

• RQ1 为何动态路由在深层胶囊网络中会导致梯度消失，耦合系数c_ij在该问题中起到何种作用？
• RQ2 能否通过从路由过程中移除耦合系数来解决堆叠胶囊网络中的梯度消失问题？
• RQ3 所提出的自适应路由算法如何提升深层胶囊网络架构的性能与稳定性？
• RQ4 在不降低模型准确率的前提下，能否通过单一超参数λ大幅简化迭代路由过程？
• RQ5 在不同数据集和网络深度下，实现高性能的λ最优值是多少？

主要发现

• 自适应路由算法在MNIST上实现了最先进性能，优于原始动态路由方法。
• 在Fashion-MNIST上，模型在4个胶囊层和λ = 2时达到93.71%准确率，性能优于动态路由。
• 在CIFAR-10上，模型在4层和λ = 3时达到78.68%准确率，相较于基线动态路由表现出持续改进。
• 当λ设置过低（如0.0001或以下）时，网络因梯度消失而崩溃，尤其在深层架构中更为明显。
• 性能对λ敏感：Fashion-MNIST上最优值为λ = 2或3，CIFAR-10上为λ = 1或3，表明梯度放大与噪声之间存在权衡。
• 自适应路由方法使高达4个胶囊层的稳定训练成为可能，而标准动态路由由于梯度抑制无法实现此目标。