[論文レビュー] Capsules with Inverted Dot-Product Attention Routing

Yao-Hung Hubert Tsai, Nitish Srivastava+2 more|arXiv (Cornell University)|Feb 12, 2020

Advanced Neural Network Applications参考文献 16被引用数 17

ひとこと要約

本論文は、逆ドット積アテンションルーティングを用いたキャプセルネットワークの新規手法を提案する。この手法は、親キャプセルのポーズと子キャプセルの投票の一致度に基づいてキャプセルをルーティングし、逆アテンションを適用し、レイヤー正規化を適用し、同時に反復的ルーティングを可能にする。この手法は、CIFAR-10で95.14%、CIFAR-100で78.02%の精度を達成し、ResNet-18と同等の性能を示すが、パrameter数を4分の1に削減している。これにより、キャプセルネットワークが複雑な実世界タスクに実用可能であることが示された。

ABSTRACT

We introduce a new routing algorithm for capsule networks, in which a child capsule is routed to a parent based only on agreement between the parent's state and the child's vote. The new mechanism 1) designs routing via inverted dot-product attention; 2) imposes Layer Normalization as normalization; and 3) replaces sequential iterative routing with concurrent iterative routing. When compared to previously proposed routing algorithms, our method improves performance on benchmark datasets such as CIFAR-10 and CIFAR-100, and it performs at-par with a powerful CNN (ResNet-18) with 4x fewer parameters. On a different task of recognizing digits from overlayed digit images, the proposed capsule model performs favorably against CNNs given the same number of layers and neurons per layer. We believe that our work raises the possibility of applying capsule networks to complex real-world tasks. Our code is publicly available at: https://github.com/apple/ml-capsules-inverted-attention-routing An alternative implementation is available at: https://github.com/yaohungt/Capsules-Inverted-Attention-Routing/blob/master/README.md

研究の動機と目的

• 複雑なデータセットにおけるスケーラビリティとパフォーマンスに課題を抱える既存のキャプセルルーティングアルゴリズムの制限を解消すること。
• 大規模なパrameter数を必要とせずに、最先端のCNNと同等の性能を達成できるキャプセルネットワークの実現を目的とする。
• 親キャプセルと子キャプセル間の一致度を逆アテンション機構でモデル化することで、ルーティングの改善を図ること。
• 正規化と同時推論の導入により、キャプセルネットワークを実世界タスクにスケーラブルに拡張すること。
• キャプセルネットワークが、より高い効率と正確性を実現することで、複雑な視覚認識タスクに実用的に応用可能であることを示すこと。

提案手法

• ルーティング機構は、親のポーズと子の投票の一致度に基づいて、低レベルのキャプセルが高レベルのキャプセルに注目する逆ドット積アテンションを用いる。
• ルーティング確率は、親のポーズと子の投票のドット積によって直接計算され、従来の反復的ルーティングに代わって、より並列化可能なプロセスを採用する。
• キャプセルチャネル全体にレイヤー正規化を適用し、学習の安定性と最適化の改善を図る。
• 複数のキャプセルレイヤーにわたる同時反復推論を実行し、レイヤー単位での逐次的処理ではなく、キャプセル状態とルーティング確率を同時に最適化する。
• キャプセルポーズをベクトルからリシェイプした行列として表現することで、より豊かな表現を維持しつつ、計算効率を保つ。
• SOTAのCNNバックボーンとキャプセルレイヤーを統合し、階層的特徴抽出を可能にする畳み込みおよび全結合キャプセルレイヤーを追加する。

実験結果

リサーチクエスチョン

• RQ1 逆アテンション機構により、親キャプセルと子キャプセルの一致度を測定することで、キャプセルネットワークのルーティングが向上するか？
• RQ2 複数のキャプセルレイヤーにわたる同時反復ルーティングは、逐次的レイヤー単位のルーティングに比べ、精度と効率の面で優れているか？
• RQ3 レイヤー正規化は、行列構造のポーズを持つキャプセルネットワークの学習安定性とパフォーマンス向上に寄与するか？
• RQ4 このルーティング機構を備えたキャプセルネットワークは、顕著に少ないパrameter数で、ResNet-18などの強力なCNNと同等またはそれ以上の性能を達成できるか？
• RQ5 キャプセルネットワークは、重なった物体の認識といった複雑な実世界タスクに、効果的に応用可能か？

主な発見

• 提案された逆ドット積アテンションルーティングは、CIFAR-10で95.14%のテスト精度を達成し、ResNet-18と同等の性能を示したが、パrameter数は4分の1に削減された。
• CIFAR-100では78.02%のテスト精度に到達し、より複雑なデータへの優れた一般化能力を示した。
• 重なった数字を含むDiverseMultiMNISTベンチマークでは、同じレイヤー数とニューロン数を有するCNNと比較して、キャプセルモデルがより速く収束した。
• 行列構造のポーズとレイヤー正規化の導入により、ベクトル構造のポーズに比べ、学習の安定性とパフォーマンスが向上した。
• 同時ルーティング機構により、逐次的反復ルーティングに比べ、推論が高速化され、スケーラビリティが向上した。
• 従来のキャプセルネットワーク（CIFAR-10で92.74%）を上回り、SOTAのCNNと同等の性能を示した。これにより、キャプセルネットワークが複雑な視覚認識タスクにおいて競争力を持つことが実証された。