[论文解读] Building Deep, Equivariant Capsule Networks

Sairaam Venkatraman, S. Balasubramanian+1 more|arXiv (Cornell University)|Aug 4, 2019

Advanced Neural Network Applications参考文献 24被引用 8

一句话总结

本文提出 SOVNET，一种深层、等变的胶囊网络，通过使用群等变卷积，为每种子胶囊类型学习一个变化空间（SOV），实现高效、参数共享的预测与等变路由，方法基于度中心性。该模型在保持组合泛化能力的同时，相较于胶囊网络基线模型，提升了对变换的鲁棒性与性能。

ABSTRACT

Capsule networks are constrained by the parameter-expensive nature of their layers, and the general lack of provable equivariance guarantees. We present a variation of capsule networks that aims to remedy this. We identify that learning all pair-wise part-whole relationships between capsules of successive layers is inefficient. Further, we also realise that the choice of prediction networks and the routing mechanism are both key to equivariance. Based on these, we propose an alternative framework for capsule networks that learns to projectively encode the manifold of pose-variations, termed the space-of-variation (SOV), for every capsule-type of each layer. This is done using a trainable, equivariant function defined over a grid of group-transformations. Thus, the prediction-phase of routing involves projection into the SOV of a deeper capsule using the corresponding function. As a specific instantiation of this idea, and also in order to reap the benefits of increased parameter-sharing, we use type-homogeneous group-equivariant convolutions of shallower capsules in this phase. We also introduce an equivariant routing mechanism based on degree-centrality. We show that this particular instance of our general model is equivariant, and hence preserves the compositional representation of an input under transformations. We conduct several experiments on standard object-classification datasets that showcase the increased transformation-robustness, as well as general performance, of our model to several capsule baselines.

研究动机与目标

• 解决现有胶囊网络中参数效率低下及缺乏可证明等变性的问题。
• 降低在层间建模所有子胶囊对关系的计算成本。
• 通过为每种子胶囊类型学习一个姿态变化流形（SOV），正式化胶囊网络中的等变性。
• 开发一种在变换下保持组合结构的路由机制。
• 在变换效率与非几何组合关系的表征能力之间取得平衡。

提出的方法

• 该模型为每种子胶囊类型定义一个变化空间（SOV），表示在群变换下可能的姿态变化流形。
• 通过在群变换网格上使用可学习的等变函数，对每种子胶囊类型的 SOV 进行投影编码。
• 通过类型同质的群等变卷积，从浅层胶囊到深层胶囊进行预测，实现参数共享与效率提升。
• 路由机制基于度中心性，选择最一致的预测结果以构建深层胶囊。
• 整个框架被设计为在 SOV 中使用的变换群下具有可证明的等变性。
• 该架构将这些组件整合为一个可扩展的深层胶囊网络，确保在输入变换下保持组合结构。

实验结果

研究问题

• RQ1 能否通过减少子胶囊对之间关系的参数成本，使胶囊网络在深层架构中实现可扩展性？
• RQ2 能否通过学习姿态变化的结构化表示，正式保证胶囊网络中的等变性？
• RQ3 在预测中使用群等变卷积是否能同时提升胶囊网络的效率与鲁棒性？
• RQ4 基于度中心性的路由机制是否比基于共识的路由更有效地在变换下保持组合结构？
• RQ5 胶囊网络中，变换效率与非几何组合关系表征能力之间存在何种权衡？

主要发现

• SOVNET 在标准图像分类数据集上对仿射变换表现出优于多个胶囊网络基线模型的鲁棒性。
• 该模型在两个基准数据集上的性能与标准卷积网络相当，表明其具备强大的泛化能力。
• 在预测中使用群等变卷积显著实现了参数共享，并降低了建模所有子胶囊对关系的计算负担。
• 基于度中心性的路由机制能有效识别一致的部件-整体关系，从而提升组合表征的保真度。
• 该模型在所用变换群下具有可证明的等变性，确保检测到的组合结构在输入变换下保持不变。
• 观察到变换效率与表征非几何组合关系能力之间存在权衡，提示架构设计中存在可调的权衡取舍。