[论文解读] Capsule Networks Need an Improved Routing Algorithm

Inyoung Paik, Tae-Yeong Kwak+1 more|arXiv (Cornell University)|Jul 31, 2019

Advanced Neural Network Applications参考文献 21被引用 18

一句话总结

本文指出，现有的胶囊网络路由算法在反复迭代后无法实现其预期目标，反而导致连接强度过度极化至极端值（接近0或1）。作者通过实证研究发现，这些算法往往表现不如简单的均匀或随机基线模型，因此得出结论：必须设计一种根本性改进的路由算法，才能使胶囊网络实现有意义的部件-整体关系学习并具备适当的不确定性建模能力。

ABSTRACT

In capsule networks, the routing algorithm connects capsules in consecutive layers, enabling the upper-level capsules to learn higher-level concepts by combining the concepts of the lower-level capsules. Capsule networks are known to have a few advantages over conventional neural networks, including robustness to 3D viewpoint changes and generalization capability. However, some studies have reported negative experimental results. Nevertheless, the reason for this phenomenon has not been analyzed yet. We empirically analyzed the effect of five different routing algorithms. The experimental results show that the routing algorithms do not behave as expected and often produce results that are worse than simple baseline algorithms that assign the connection strengths uniformly or randomly. We also show that, in most cases, the routing algorithms do not change the classification result but polarize the link strengths, and the polarization can be extreme when they continue to repeat without stopping. In order to realize the true potential of the capsule network, it is essential to develop an improved routing algorithm.

研究动机与目标

• 探究为何具有先进路由算法的胶囊网络在实践中常表现不佳，尽管其理论上具有优势。
• 分析五种主流路由算法在训练迭代过程中的实际行为。
• 识别路由算法性能退化的主要原因，特别是连接强度极化问题。
• 证明当前路由方法无法维持不确定性，反而使连接趋向极端值。
• 主张需要一种具备收敛性保证和不确定性感知能力的新路由算法，以实现胶囊网络的全部潜力。

提出的方法

• 作者实现了五种路由算法：CapsNet（Sabour et al., 2017）、EMCaps（Hinton et al., 2018）、OptimCaps（Wang and Liu, 2018）、GroupCaps（Lenssen et al., 2018）和AttnCaps（Zhou et al., 2019）。
• 他们通过不同数量的路由迭代（最多10次）进行实验，观察连接强度（c_ij）在迭代过程中的演变。
• 研究分析了路由算法中的反馈机制，特别是共识分数（b_ij）如何累积并推动c_ij向1或0靠拢。
• 推导并分析了路由算法收敛至单一解（一个c_ij = 1，其余为0）的数学条件。
• 通过迭代过程中c_ij值的直方图分析，可视化极化趋势。
• 考察了初始连接强度分配的影响，以及共识度量（内积、高斯分布、距离）在驱动收敛至极端状态中的作用。

实验结果

研究问题

• RQ1 为何胶囊网络中的路由算法常无法提升性能，反而不如简单基线模型？
• RQ2 在反复迭代过程中，路由算法中连接强度极化现象的根本原因是什么？
• RQ3 在何种数学条件下，路由算法会收敛至单一解（即每个胶囊仅有一个活跃连接）？
• RQ4 为何当前的路由机制与维持部件-整体关系中的不确定性不兼容？
• RQ5 路由算法中反馈回路的不稳定性对胶囊网络训练和泛化能力有何影响？

主要发现

• 路由算法始终导致连接强度极化，随着迭代次数增加，大多数c_ij值趋于0，而单一c_ij值趋于1。
• 当迭代次数超过3次后，路由算法产生极端极化现象，超过90%的连接坍缩至0或1，尤其在CapsNet和EMCaps中更为显著。
• 极化现象由路由算法中的反馈回路驱动，共识分数（b_ij）的累积导致最一致的胶囊对的c_ij呈指数增长。
• 数学分析表明，路由算法的唯一稳定稳态是单一连接占优的解，这不利于学习部件-整体层次结构。
• 尽管理论设计目标明确，但这些路由算法常无法提升分类性能，甚至可能劣于简单的均匀或随机基线连接策略。
• 该问题在OptimCaps和AttnCaps等算法中更为严重，因其采用与CapsNet和EMCaps类似的更新规则，导致相同的单一收敛行为。