[论文解读] Capsule Routing via Variational Bayes

Fabio De Sousa Ribeiro, Georgios Leontidis+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 25被引用 66

一句话总结

本文为 CapsNets 引入变分贝叶斯胶囊路由（VB routing），将路由形式化为转化高斯的混合，并实现 Capsule-VAE；在 smallNORB 上达到最先进的性能，使用约少50%的胶囊，并在其他数据集上取得强劲结果。

ABSTRACT

Capsule networks are a recently proposed type of neural network shown to outperform alternatives in challenging shape recognition tasks. In capsule networks, scalar neurons are replaced with capsule vectors or matrices, whose entries represent different properties of objects. The relationships between objects and their parts are learned via trainable viewpoint-invariant transformation matrices, and the presence of a given object is decided by the level of agreement among votes from its parts. This interaction occurs between capsule layers and is a process called routing-by-agreement. In this paper, we propose a new capsule routing algorithm derived from Variational Bayes for fitting a mixture of transforming gaussians, and show it is possible transform our capsule network into a Capsule-VAE. Our Bayesian approach addresses some of the inherent weaknesses of MLE based models such as the variance-collapse by modelling uncertainty over capsule pose parameters. We outperform the state-of-the-art on smallNORB using 50% fewer capsules than previously reported, achieve competitive performances on CIFAR-10, Fashion-MNIST, SVHN, and demonstrate significant improvement in MNIST to affNIST generalisation over previous works.

研究动机与目标

• 通过以概率贝叶斯路由方案替代传统路由来激发和改进胶囊网络。
• 为路由开发一个变分贝叶斯形式，将高斯胶囊进行变换，以降低方差坍缩并提高稳定性。
• 证明该方法在 smallNORB、CIFAR-10、Fashion-MNIST、SVHN，以及 MNIST-affNIST 泛化上达到具竞争力或最先进的结果。
• 提供关于初始化、归一化和训练的实用指南，以帮助从业者。

提出的方法

• 将胶囊建模为转化高斯的混合，并具有每个胶囊的变换矩阵 W_ij。
• 使用带有分解形式的 q(z, pi, mu, Lambda) 的变分推断来推断路由分配和胶囊参数。
• 表示投票 V_j|i = M_i W_ij，并通过带有职责变量 R_ij 的贝叶斯聚合来形成高层姿态 M_j。
• 放置共轭先验（对于 pi 为 Dirichlet，对于 mu、Lambda 为 Gaussian-Wishart），并推导闭形式的 VB 更新（Algorithm 1）。
• 通过逻辑函数激活父胶囊 a_j，使用先验证据和后验熵来衡量投票一致性（Eq. 14）。
• 可选地通过从 q*(mu_j, Lambda_j) 采样来形成潜在编码，将 CapsNet 转换为 Capsule-VAE（方程 15–16）。

实验结果

研究问题

• RQ1 变分贝叶斯路由是否在 CapsNets 中相较于 EM 和 Dynamic routing 提高了训练稳定性和性能？
• RQ2 基于 VB 的胶囊路由框架能否降低基于 MLE 的混合模型固有的方差坍缩问题，并通过先验实现灵活的稀疏性？
• RQ3 VB 路由方法如何影响在标准基准（smallNORB、CIFAR-10、Fashion-MNIST、SVHN、MNIST-affNIST）及视点泛化上的性能与泛化能力？

主要发现

• 在 smallNORB 上实现 1.55% 的测试错误率（5 次运行的 1.6%±0.06），超越先前的最先进水平 1.8%。
• 使用比先前方法约少50%的胶囊以达到有竞争力的结果。
• Fashion-MNIST 最佳测试错误率 5.15% (5.2%±0.07)。
• SVHN 最佳测试错误率 3.87% (3.9%±0.06)。
• CIFAR-10 最佳测试错误率 11.14% (11.2%±0.09)；更深的变体在更多层时达到 7.8%。
• 证明 MNIST 到 affNIST 的泛化相对于前期工作有改善。
• 表明 VB routing 在多数据集上提供稳定的训练和有竞争力或优越的性能，同时参数更少。