[论文解读] Training Deep Capsule Networks.
本文提出动态深度路由（dynamic deep routing），一种新型胶囊网络路由算法，通过在层间强制实施父子关系，确保形成层次解析树。与原始的按一致性的路由（routing-by-agreement）不同，后者无法保证解析树结构，动态深度路由可实现更深胶囊网络的训练，并提升对白盒对抗攻击的鲁棒性。
The capsules of Capsule Networks are collections of neurons that represent an object or part of an object in a parse tree. The output vector of a capsule encodes the so called instantiation parameters of this object (e.g. position, size, or orientation). The routing-by-agreement algorithm routes output vectors from lower level capsules to upper level capsules. This iterative algorithm selects the most appropriate parent capsule so that the active capsules in the network represent nodes in a parse tree. This parse tree represents the hierarchical composition of objects out of smaller and smaller components. In this paper, we will show experimentally that the routing-by-agreement algorithm does not ensure the emergence of a parse tree in the network. To ensure that all active capsules form a parse tree, we introduce a new routing algorithm called dynamic deep routing. We show that this routing algorithm allows the training of deeper capsule networks and is also more robust to white box adversarial attacks than the original routing algorithm.
研究动机与目标
- 解决按一致性路由在胶囊网络中无法可靠形成层次解析树的问题。
- 通过改进路由稳定性和结构，实现更深胶囊网络架构的训练。
- 通过更结构化的路由机制，增强对白盒对抗攻击的鲁棒性。
- 确保网络中激活的胶囊代表对象及其组成部分的连贯、层次化组合。
提出的方法
- 提出动态深度路由作为新型路由算法，强制实施胶囊层之间的父子关系。
- 修改路由过程，优先考虑一致性，同时确保每一层中的每个胶囊仅被路由到下一层中的一个父胶囊。
- 引入一种动态路由机制，根据一致性迭代调整路由权重，但施加约束以维持解析树的完整性。
- 在多层中应用该路由算法，以支持更深的网络架构。
- 使用编码在胶囊向量中的实例化参数表示对象属性，如位置、大小和方向。
- 采用迭代路由更新以优化路由决策，确保仅选择最相关的父胶囊。
实验结果
研究问题
- RQ1按一致性路由算法是否能可靠地在胶囊网络中生成层次解析树？
- RQ2经过修改的路由算法是否能实现更深胶囊网络的训练而不发生结构崩溃？
- RQ3新路由机制对白盒对抗攻击的鲁棒性有何影响？
- RQ4动态深度路由是否能在胶囊网络的多层中强制实现一致的解析树结构？
主要发现
- 实验表明，按一致性路由算法无法确保胶囊网络中解析树的出现。
- 动态深度路由通过确保每个胶囊仅被路由到一个父胶囊，成功强制形成了解析树。
- 所提出的算法相比原始的按一致性路由方法，能够实现更深胶囊网络的训练。
- 采用动态深度路由的胶囊网络相比使用原始路由算法的网络，对白盒对抗攻击表现出更强的鲁棒性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。