[論文レビュー] Capsule Networks with Max-Min Normalization

Zhao Zhen, Ashley Kleinhans+3 more|arXiv (Cornell University)|Mar 22, 2019

Advanced Neural Network Applications参考文献 15被引用数 40

ひとこと要約

この論文は CapsNets における Softmax ルーティングをスケール不変の Max-Min 正規化に置換し、5つのデータセットで精度を向上させ、性能低下なくより多くのルーティング iterations を可能にする。

ABSTRACT

Capsule Networks (CapsNet) use the Softmax function to convert the logits of the routing coefficients into a set of normalized values that signify the assignment probabilities between capsules in adjacent layers. We show that the use of Softmax prevents capsule layers from forming optimal couplings between lower and higher-level capsules. Softmax constrains the dynamic range of the routing coefficients and leads to probabilities that remain mostly uniform after several routing iterations. Instead, we propose the use of Max-Min normalization. Max-Min performs a scale-invariant normalization of the logits that allows each lower-level capsule to take on an independent value, constrained only by the bounds of normalization. Max-Min provides consistent improvement in test accuracy across five datasets and allows more routing iterations without a decrease in network performance. A single CapsNet trained using Max-Min achieves an improved test error of 0.20% on the MNIST dataset. With a simple 3-model majority vote, we achieve a test error of 0.17% on MNIST.

研究の動機と目的

• CapsNet ダイナミックルーティングの Softmax の制限に対処して改善を動機付ける。
• スケール不変なルーティング係数正規化として Max-Min 正規化を提案する。
• 複数データセットとルーティング iterations にわたって Max-Min を評価する。
• MNIST の性能向上と潜在的なアンサンブル効果を示す。

提案手法

• CapsNets のルーティング手順で Softmax を Max-Min に置換する。
• ルーティング係数を 0 〜 1 の間で独立して制限可能とする。
• PrimaryCaps および DigitCaps 層を含む3層の CapsNet アーキテクチャを使用する。
• 標準マージン損失と再構成損失に加え、ルーティング iterations を用いて学習する。
• Softmax と Max-Min の下での logits および ルーティング係数の進化を比較する。

実験結果

リサーチクエスチョン

• RQ1 Max-Min 正規化はデータセット間で Softmax より CapsNet のルーティング品質を改善するか。
• RQ2 Max-Min はルーティング係数のダイナミクスとカプセル層間の特徴結合にどのように影響するか。
• RQ3 Max-Min でルーティング iterations を増やすと過学習を避けつつ精度を向上させるか。
• RQ4 Softmax と比較した場合、Max-Min は MNIST の性能にどのような影響を与えるか。
• RQ5 二つの正規化で DigitCaps の出力に質的な違いはあるか。

主な発見

Normalization	MNIST [%]	rMNIST [%]	fMNIST [%]	bMNIST [%]	CIFAR10 [%]
Softmax	99.28 ± 0.06	93.72 ± 0.08	90.52 ± 0.14	89.08 ± 0.19	73.65 ± 0.09
Max-Min	99.55 ± 0.02	95.42 ± 0.03	92.07 ± 0.12	93.09 ± 0.04	75.92 ± 0.27

• Max-Min は Softmax と比較して MNIST、rMNIST、fMNIST、bMNIST、CIFAR10 のテスト精度を一貫して向上させる。
• Max-Min によりより多くのルーティング iterations を実行しても性能が低下せず、過学習を減少させる。
• Max-Min を用いた単一の CapsNet は MNIST で 0.20% のテスト誤差を達成し、3モデルのアンサンブルで 0.17% に到達する。
• Max-Min 下のルーティング係数はより大きな変動を示し、複数の上位カプセルが高い割り当てを受けられる。
• Max-Min を用いた MNIST の結果は最先端に近づきつつ、最小限のデータ拡張で実現。