[論文レビュー] Reducing the dilution: An analysis of the information sensitiveness of capsule network with a practical improvement method

Zonglin Yang, Xinggang Wang|arXiv (Cornell University)|Mar 25, 2019

Advanced Malware Detection Techniques参考文献 10被引用数 8

ひとこと要約

この論文は、複雑なデータセットにおけるパフォーマンスの低さの主な要因として、キャプセルネットワークの情報感受性と一次キャプセル層における非特徴的キャプセルの過剰活性化の間にある矛盾を特定する。本稿では、低エネルギーのキャプセルを抑制し、特徴の識別能を向上させる2つの単純で効率的な正則化手法——CI-squashとパワーアクティビティ（PA）スケーリング——を提案する。これらの手法により、CIFAR-10を含む複数のデータセットで一貫した性能向上が達成され、誤差率が最大で14.31%まで低下し、顕著なパrameter削減が可能になる。

ABSTRACT

Capsule network has shown various advantages over convolutional neural network (CNN). It keeps more precise spatial information than CNN and uses equivariance instead of invariance during inference and highly potential to be a new effective tool for visual tasks. However, the current capsule networks have incompatible performance with CNN when facing datasets with background and complex target objects and are lacking in universal and efficient regularization method. We analyze a main reason of the incompatible performance as the conflict between information sensitiveness of capsule network and unreasonably higher activation value distribution of capsules in primary capsule layer. Correspondingly, we propose a practical improvement method by restraining the activation value of capsules in primary capsule layer to suppress non-informative capsules and highlight discriminative capsules. In the experiments, the method has achieved better performances on various mainstream datasets. In addition, the proposed improvement methods can be seen as a suitable, simple and efficient regularization method that can be generally used in capsule network.

研究の動機と目的

• CIFAR-10のような複雑なデータセットにおいて、キャプセルネットワークがCNNに比べて性能を発揮しない理由を分析すること。
• その根本的要因として、キャプセルネットワークの情報感受性と一次キャプセル層における不自然な高い活性化値分布との間の矛盾を特定すること。
• 非情報的キャプセルを抑制することで特徴の識別能を向上させる、実用的で単純かつ効率的な正則化手法を提案すること。
• 提案手法が、ドロップアウトや重み減衰といった従来の正則化手法よりも、キャプセルネットワークにおいて優れた性能を発揮することを実証すること。

提案手法

• 固定バー値に基づくしきい値処理を適用するCI-squashを導入し、低エネルギーのキャプセルを抑制する修正されたスケーリング関数を提案する。
• 活性化値にべき乗関数を適用するPAスケーリングを提案し、高エネルギーの識別的キャプセルを強調するとともに、低エネルギーの非情報的キャプセルを抑制する。
• ルーティングの前に活性化分布を制御できるように、これらの手法を一次キャプセル層に適用し、関連する空間的特徴のみが前方に伝搬されるようにする。
• CI-squashでは固定バー値（例：6.5）を、PAではパワーパラメータ（n）を最適化するためのチューニングを実施する。
• 8および64の一次キャプセル数を想定したキャプセルネットワークを用いて、手法のロバストネスと効率性を検証する。
• CIFAR-10を含む複数のデータセットにおいて、ドロップアウトや重み減衰といった標準的な正則化手法と、提案手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークが空間的・等変性表現の理論的利点を持つにもかかわらず、CIFAR-10のような複雑なデータセットで性能を発揮しないのはなぜか？
• RQ2 一次キャプセル層における活性化値分布が、関連する特徴と背景特徴を区別する能力にどのように影響を与えるか？
• RQ3 スケーリング関数に対する単純で計算コストの低い修正が、モデルの複雑さを増さずにキャプセルネットワークの性能を向上させられるか？
• RQ4 CI-squashおよびPAスケーリングは、ドロップアウトや重み減衰といった標準的手法と比較して、キャプセルネットワークにおける有効な正則化手法として機能するか？
• RQ5 提案手法により、性能を維持または向上させながら顕著なパラメータ削減が可能になるか？

主な発見

• 提案されたCI-squashおよびPAスケーリング手法により、CIFAR-10における誤差率が14.31%まで低下し、元のキャプセルネットワーク（16.15%）および標準的な正則化手法を顕著に上回った。
• n=6のPAスケーリングが最良のパフォーマンスを達成し、非特徴的キャプセルの抑制と情報的特徴の保持の間に最適なバランスが取れていることを示した。
• 異なる一次キャプセル数の設定に対しても手法はロバストであり、PAスケーリングでは8層のキャプセルネットワークで64層のネットワークと同等の性能を達成した。
• ドロップアウトや重み減衰といった従来の正則化手法は、キャプセルネットワークの性能を低下させた。これは、このアーキテクチャには不適切であることを示している。
• CI-squashおよびPAスケーリングは、最小限のハイパーパrameterチューニングで効果を発揮するため、キャプセルネットワークにおける実用的で汎用性の高い正則化ツールであると示唆された。
• これらの手法により、64個の一次キャプセルを8個に置き換えることで、計算量およびパラメータをほぼ7/8まで削減しつつ、性能に損なわれない可能性が示された。