[论文解读] Limitations of routing-by-agreement based capsule networks.

David Peer, Sebastian Stabinger+1 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 11被引用 7

一句话总结

本文识别出路由一致性胶囊网络中的一个关键局限：缺乏偏置项导致输入对称性模糊，从而影响深层架构的训练。通过在胶囊激活向量中引入可学习偏置项或一种新型偏置编码方法，作者实现了无需增加参数的深层胶囊网络的稳定训练。

ABSTRACT

Classical neural networks add a bias term to the sum of all weighted inputs. For capsule networks, the routing-by-agreement algorithm, which is commonly used to route vectors from lower level capsules to upper level capsules, calculates activations without a bias term. In this paper we show that such a term is also necessary for routing-by-agreement. We will proof that for every input there exists a symmetric input that cannot be distinguished correctly by capsules without a bias term. We show that this limitation impacts the training of deeper capsule networks negatively and that adding a bias term allows for the training of deeper capsule networks. An alternative to a bias is also presented in this paper. This novel method does not introduce additional parameters and is directly encoded in the activation vector of capsules.

研究动机与目标

• 识别路由一致性中缺乏偏置项是胶囊网络的根本性局限。
• 证明若无偏置项，对称输入无法被区分，从而导致训练不稳定。
• 表明引入偏置项可实现深层胶囊网络的成功训练。
• 提出一种无需参数的替代偏置机制，直接编码于胶囊激活向量中。

提出的方法

• 理论分析证明，对于任意输入，均存在一个对称输入，路由一致性在无偏置项时无法区分。
• 将可学习偏置项引入路由一致性机制，以解决对称性模糊问题。
• 提出一种替代方法，将偏置直接编码于胶囊激活向量中，避免引入额外可学习参数。
• 将所提出的偏置机制整合至路由算法，并在深层胶囊网络架构上进行评估。
• 通过理论与实证验证，确认引入偏置后深层网络的稳定性和性能均得到提升。

实验结果

研究问题

• RQ1 路由一致性中缺乏偏置项是否会导致胶囊网络在区分对称输入时产生模糊？
• RQ2 缺乏偏置项如何影响深层胶囊网络的训练？
• RQ3 可学习偏置项是否能提升深层胶囊网络的训练稳定性和性能？
• RQ4 是否可能在不引入额外参数的情况下实现胶囊网络中的偏置集成？

主要发现

• 路由一致性中缺乏偏置项导致胶囊网络无法区分对称输入，构成根本性的架构局限。
• 由于路由决策中的对称性诱导模糊，无偏置项时深层胶囊网络的训练变得不稳定。
• 引入可学习偏置项可通过解决与对称性相关的模糊问题，实现深层胶囊网络的成功训练。
• 所提出的替代偏置方法直接编码于胶囊激活向量中，不增加任何可学习参数，但达到相同效果。