[論文レビュー] Sparse Unsupervised Capsules Generalize Better

David Rawlinson, Abdelrahman Ahmed+1 more|arXiv (Cornell University)|Apr 17, 2018

Imbalanced Data Classification Techniques参考文献 23被引用数 47

ひとこと要約

本論文は、教師付きマスキングを無監督カプセル学習から除去するとカプセル特性が劣化することを示しており、スパースな無監督学習を導入することでこれらの特性を回復し、affNIST への一般化を改善することを報告する。SVM分類器を用いて最大で 90.12% を達成する。

ABSTRACT

We show that unsupervised training of latent capsule layers using only the reconstruction loss, without masking to select the correct output class, causes a loss of equivariances and other desirable capsule qualities. This implies that supervised capsules networks can't be very deep. Unsupervised sparsening of latent capsule layer activity both restores these qualities and appears to generalize better than supervised masking, while potentially enabling deeper capsules networks. We train a sparse, unsupervised capsules network of similar geometry to Sabour et al (2017) on MNIST, and then test classification accuracy on affNIST using an SVM layer. Accuracy is improved from benchmark 79% to 90%.

研究の動機と目的

• 潜在カプセル層の無監督訓練がカプセルの品質と一般化にどのように影響するかを調査する。
• 監視付きマスキングなしでスパース性がカプセル固有の等価性を回復できるかを判断する。
• MNIST/affNIST に対して、スパースな無監督カプセルネットワークを監視付きマスキング手法と比較する。
• 外部分類子を用いたスパース無監督カプセルの一般化性能を評価する。

提案手法

• SUPCAPS アーキテクチャをマスキングとマージン損失を除去するように変更し、退化を観察する。
• ルーティングサポートによって上位 k 個の潜在カプセルのみが出力に寄与する、スパースな訓練方式を導入する。
• すべてのカプセルが時間を通じて参加するよう、オンラインライフタイムスパース性制約を適用する。
• バッチごとおよび画像ごとにカプセル活性化を計算し、ランキングベースのマスク m_jk によってスパース性を強制する。
• MNIST で訓練し、カプセル出力に対して SVM分類器を用いて affNIST への一般化を評価する。
• 密集無監督および監督能力ベースラインと比較するための再構成およびルーティング分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 マスクなしの無監督潜在カプセル訓練は、カプセル固有の等価性とルーティングダイナミクスを保持できるか？
• RQ2 潜在カプセル活性の疎化は望ましいカプセル特性を回復し、アフィン変換データへの一般化を改善するか？
• RQ3 MNIST/affNIST における SPARSECAPS のスパース無監督手法は、SUPCAPSおよび従来のCNNとどう比較されるか？
• RQ4 ライフタイムスパース性制約がカプセルの活用と性能に与える影響は何か？

主な発見

Algorithm	MNIST	affNIST
Conventional ConvNet (Sabour et al., 2017)	99.22%	66%
SUPCAPS (Sabour et al., 2017)	99.23%	79%
SPARSECAPS + SVM (a)	99%	90.12%
SPARSECAPS + SVM (b)	99%	16.99%
Unmasked SPARSECAPS + SVM (a)	97.37%	60.63%
Unmasked SPARSECAPS + SVM (b)	97.37%	15.70%

• スパース性なしの密な無監督カプセルは等価性とルーティング選択性を喪失し、affNIST での性能が低い。
• スパースな無監督訓練はカプセルの特化と動的ルーティングを再構築し、一般化を改善する。
• MNIST で訓練した場合、SVM分類器を用いた SPARSECAPS は affNIST で 90.12% を達成（SUPCAPS は 79%）.
• マスクなしの密な無監督カプセルは性能が低く（affNIST は約 60.63% または 異なる設定で 15.70% ）。
• K-スパース風マスキングは概ね 1 個の完全に活性な潜在カプセルといくつかの部分的に活性なカプセルを生み、容量と特化のバランスを取る。
• スパースな潜在カプセルに観察される等価性には、筆画の太さの変化、歪み、形状モーフィングなどが含まれ、有意義な潜在因子を示している。