[論文レビュー] Capsule Routing via Variational Bayes

Fabio De Sousa Ribeiro, Georgios Leontidis+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 25被引用数 66

ひとこと要約

この論文はCapsNetsのためのVariational Bayes capsule routing (VB routing) を導入し、routingを transforming Gaussians の混合として定式化し Capsule-VAE を可能にする。小規模データセットsmallNORBで約50% fewer capsulesで現状最良を達成し、他のデータセットでも強力な結果を示す。

ABSTRACT

Capsule networks are a recently proposed type of neural network shown to outperform alternatives in challenging shape recognition tasks. In capsule networks, scalar neurons are replaced with capsule vectors or matrices, whose entries represent different properties of objects. The relationships between objects and their parts are learned via trainable viewpoint-invariant transformation matrices, and the presence of a given object is decided by the level of agreement among votes from its parts. This interaction occurs between capsule layers and is a process called routing-by-agreement. In this paper, we propose a new capsule routing algorithm derived from Variational Bayes for fitting a mixture of transforming gaussians, and show it is possible transform our capsule network into a Capsule-VAE. Our Bayesian approach addresses some of the inherent weaknesses of MLE based models such as the variance-collapse by modelling uncertainty over capsule pose parameters. We outperform the state-of-the-art on smallNORB using 50% fewer capsules than previously reported, achieve competitive performances on CIFAR-10, Fashion-MNIST, SVHN, and demonstrate significant improvement in MNIST to affNIST generalisation over previous works.

研究の動機と目的

• 従来の routing を確率的なベイズ routing に置き換え、カプセルネットワークを動機づけ改善する。
• 分散崩壊を軽減し安定性を向上させるため、変換ガウスカプセルを回転させる vb の定式化を開発する。
• このアプローチが smallNORB、CIFAR-10、Fashion-MNIST、SVHN、MNIST-affNIST の一般化において競争力あるいは最先端の結果を達成することを示す。
• 実務者を支援する初期化、正規化、および学習の実用的なガイドラインを提供する。

提案手法

• カプセルを per-capsule transform matrices W_ij を持つ transforming Gaussians の混合としてモデル化する。
• 因子分解された q(z, pi, mu, Lambda) を用いた変分推論で routing の割り当てとカプセルパラメータを推定する。
• votes V_j|i = M_i W_ij を表し、責任度 R_ij によるベイズ的集約で higher-layer pose M_j を形成する。
• 共役事前分布 (Dirichlet for pi, Gaussian-Wishart for mu, Lambda) を置き、閉形式 VB 更新を導出する（Algorithm 1）。
• 親カプセル a_j を prior evidence と posterior entropy を用いて votes の一致度を測るロジスティック関数で活性化する（Eq. 14）。
• CapsNet を Capsule-VAE に変換するオプションとして q*(mu_j, Lambda_j) からサンプルを取り latent codes を形成する（Equations 15–16）。

実験結果

リサーチクエスチョン

• RQ1 variational Bayes routing は CapsNets における EM および Dynamic routing より訓練の安定性と性能を改善するか？
• RQ2 VB ベースのカプセルルーティング枠組みは MLE ベースの混合モデルに内在する分散崩壊問題を軽減し、事前分布による柔軟なスパース性を許容できるか？
• RQ3 VB ルーティング手法は standard benchmarks（smallNORB、CIFAR-10、Fashion-MNIST、SVHN、MNIST-affNIST）および viewpoint generalization において性能と一般化にどのような影響を与えるか？

主な発見

• smallNORB でのテストエラー 1.55%（5回の実行で 1.6%±0.06）、従来の最先端 1.8% を上回る。
• prior methods より約半数のカプセルで競争力のある結果を達成。
• Fashion-MNIST の最良テストエラー 5.15% (5.2%±0.07)。
• SVHN の最良テストエラー 3.87% (3.9%±0.06)。
• CIFAR-10 の最良テストエラー 11.14% (11.2%±0.09); より深いバリアントは 7.8% に到達（層を増やすと）。
• MNIST から affNIST への一般化改善を prior works より示す。
• VB ルーティングは安定した訓練を提供し、複数のデータセットでパラメータ数を抑えつつ競争力あるまたは優れた性能を示す。