[論文レビュー] Improving the Robustness of Capsule Networks to Image Affine Transformations

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Nov 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 5

ひとこと要約

本論文は、動的ルーティングを単純な平均化に置き換え、プライマリーキャプセル間で同一の変換関数を適用することにより、アフィン変換に対してより頑健な構造を持つ修正されたキャプセルネットワークアーキテクチャ、Aff-CapsNetsを提案する。AffNISTベンチマークにおいて、Aff-CapsNetsは93.21%の精度を達成し、先行研究の最良成績であるCapsNet（79%）を著しく上回っているが、ルーティング機構を一切使用していない。これは、ルーティングがアフィン変換に対する頑健性を確保するために不可欠ではないことを示している。

ABSTRACT

Convolutional neural networks (CNNs) achieve translational invariance by using pooling operations. However, the operations do not preserve the spatial relationships in the learned representations. Hence, CNNs cannot extrapolate to various geometric transformations of inputs. Recently, Capsule Networks (CapsNets) have been proposed to tackle this problem. In CapsNets, each entity is represented by a vector and routed to high-level entity representations by a dynamic routing algorithm. CapsNets have been shown to be more robust than CNNs to affine transformations of inputs. However, there is still a huge gap between their performance on transformed inputs compared to untransformed versions. In this work, we first revisit the routing procedure by (un)rolling its forward and backward passes. Our investigation reveals that the routing procedure contributes neither to the generalization ability nor to the affine robustness of the CapsNets. Furthermore, we explore the limitations of capsule transformations and propose affine CapsNets (Aff-CapsNets), which are more robust to affine transformations. On our benchmark task, where models are trained on the MNIST dataset and tested on the AffNIST dataset, our Aff-CapsNets improve the benchmark performance by a large margin (from 79% to 93.21%), without using any routing mechanism.

研究の動機と目的

• キャプセルネットワークにおける動的ルーティングが、アフィン変換に対する頑健性や一般化性能に寄与するかどうかを調査すること。
• 従来のCapsNetsに見られる、変換された入力に対して性能を発揮できないアーキテクチャ的限界を特定すること。
• ルーティングに依存せずに、アフィン変換に対して高い性能を維持できるより頑健なキャプセルネットワークアーキテクチャを設計すること。
• より単純なアーキテクチャが、幾何的頑健性において複雑なルーティング機構を上回ることを実証すること。

提案手法

• 著者らは、動的ルーティング手順の順方向および逆方向の伝搬を（解体して）分析し、そのモデル性能への寄与を評価した。
• 彼らは、動的ルーティングを単純な平均化処理に置き換えたAff-CapsNetsを提案した。
• Aff-CapsNetsのすべてのプライマリーキャプセルは、同一の変換関数を適用することで、キャプセル間で一貫した特徴学習を実現した。
• プライマリーキャプセル間で重み行列を共有することで、幾何的変換に対して不変性を強制した。
• この手法は、標準ベンチマークとして、MNISTで学習し、AffNISTでテストする方法で評価された。
• アブレーションスタディを広く実施し、ルーティング有無の比較や、アフィン変換に対する頑健性に与える異なるアーキテクチャ的選択の影響を検証した。

実験結果

リサーチクエスチョン

• RQ1 CapsNetsにおける動的ルーティング手順は、一般化能力やアフィン変換に対する頑健性に寄与しているか？
• RQ2 CapsNetsに見られる、アフィン変換下での性能を制限するアーキテクチャ的要因は何か？
• RQ3 より単純なルーティングフリーのアーキテクチャが、変換されたデータに対して、ルーティングベースのCapsNetsを上回る頑健性を達成できるか？
• RQ4 動的ルーティングは、視点不変性や敵対的頑健性といった、CapsNetsの主な利点を実現するために不可欠であるか？

主な発見

• 数値的および実験的分析により、動的ルーティング手順は、CapsNetsにおける一般化能力やアフィン変換に対する頑健性に寄与しないことが示された。
• ルーティングを削除し、単純な平均化に置き換えることで、AffNISTにおける性能が79%から93.21%に向上した。
• Aff-CapsNetsは、いかなるルーティング機構も使用しないまま、AffNISTベンチマークで最先端の性能を達成した。
• すべてのプライマリーキャプセルに同一の変換関数を適用することで、アフィン変換に対する頑健性が顕著に向上した。
• 提案されたアーキテクチャは、パラメータ数を減らし、従来のCapsNetの変種よりも高い精度を達成した。
• 結果から、ルーティングはアフィン変換に対する頑健性を確保するために不可欠ではないことが示唆され、ルーティングがCapsNetの優位性の鍵であるという仮定に疑問を呈するものとなった。