[論文レビュー] Capsule Networks Need an Improved Routing Algorithm

Inyoung Paik, Tae-Yeong Kwak+1 more|arXiv (Cornell University)|Jul 31, 2019

Advanced Neural Network Applications参考文献 21被引用数 18

ひとこと要約

この論文は、既存のキャプセルネットワークルーティングアルゴリズムが、繰り返し適用されるたびにリンク強度が極端な値（ほぼ0または1）に過剰極化されることで、本来の目的を果たせないことを特定している。著者らは、これらのアルゴリズムがしばしば単純な均一またはランダムなベースラインを下回ることを実証的に示し、意味のある部分-全体関係を適切な不確実性モデリングとともに学習できるようにするため、根本的に改善されたルーティングアルゴリズムの開発が不可欠であると結論づけている。

ABSTRACT

In capsule networks, the routing algorithm connects capsules in consecutive layers, enabling the upper-level capsules to learn higher-level concepts by combining the concepts of the lower-level capsules. Capsule networks are known to have a few advantages over conventional neural networks, including robustness to 3D viewpoint changes and generalization capability. However, some studies have reported negative experimental results. Nevertheless, the reason for this phenomenon has not been analyzed yet. We empirically analyzed the effect of five different routing algorithms. The experimental results show that the routing algorithms do not behave as expected and often produce results that are worse than simple baseline algorithms that assign the connection strengths uniformly or randomly. We also show that, in most cases, the routing algorithms do not change the classification result but polarize the link strengths, and the polarization can be extreme when they continue to repeat without stopping. In order to realize the true potential of the capsule network, it is essential to develop an improved routing algorithm.

研究の動機と目的

• 先進的なルーティングアルゴリズムを備えたキャプセルネットワークが、理論的利点があるにもかかわらず実際の性能が向上しない理由を調査すること。
• トレーニングの反復回数における5つの代表的ルーティングアルゴリズムの実際の挙動を分析すること。
• 特にリンク強度の極化が原因となるパフォーマンス低下の根本的要因を同定すること。
• 現在のルーティング手法が不確実性を維持できず、代わりに接続を極端な値に駆り立てる理由を示すこと。
• ルーティングアルゴリズムのフィードバックループの不安定性が、キャプセルネットワークのトレーニングおよび一般化に与える影響を明らかにすること。

提案手法

• 著者らは、CapsNet（Sabour et al., 2017）、EMCaps（Hinton et al., 2018）、OptimCaps（Wang and Liu, 2018）、GroupCaps（Lenssen et al., 2018）、AttnCaps（Zhou et al., 2019）の5つのルーティングアルゴリズムを実装し、評価した。
• 最大10回までのルーティング反復回数を変化させ、反復ごとのリンク強度（c_ij）の変化を観察した。
• ルーティングアルゴリズムにおけるフィードバック機構を分析し、特に同意スコア（b_ij）がどのように蓄積され、c_ijを1または0に駆り立てるかを検討した。
• ルーティングが単一の解（1つのc_ijが1、他のすべてが0）に収束する数学的条件を導出し、分析した。
• 反復ごとのc_ij値のヒストグラム分析を用いて、極化の傾向を可視化した。
• 初期リンク強度の割り当ての影響と、同意測度（内積、ガウス分布、距離）が極端な状態への収束をどのように駆動するかを検証した。

実験結果

リサーチクエスチョン

• RQ1 なぜキャプセルネットワークのルーティングアルゴリズムは、単純なベースラインと比較して性能向上を果たせないことが多いのか？
• RQ2 繰り返しの反復中に、リンク強度が観察される極化現象の原因は何か？
• RQ3 ルーティングアルゴリズムが、1つのキャプセルあたり1つの接続のみが有効となる単一解に収束する数学的条件は何か？
• RQ4 なぜ現在のルーティング機構は、部分-全体関係における不確実性の維持と不適合なのか？
• RQ5 ルーティングアルゴリズムにおけるフィードバックループの不安定性が、キャプセルネットワークのトレーニングと一般化に与える影響は何か？

主な発見

• ルーティングアルゴリズムは一貫してリンク強度を極化させ、反復回数が増えるにつれて、ほとんどすべてのc_ijが0に、1つのc_ijが1に収束する。
• 3回を超えて反復すると、ルーティングアルゴリズムは極端な極化を引き起こし、90％以上のリンクが0または1に収束する。特にCapsNetとEMCapsで顕著である。
• 極化は、同意スコア（b_ij）が蓄積されるルーティングアルゴリズムのフィードバックループによって引き起こされ、最も同意度が高いキャプセルペアのc_ijが指数関数的に増大する。
• 数学的分析により、ルーティングアルゴリズムの唯一の安定した定常状態は、1つの優位な接続を持つ単一解であることが示された。これは、部分-全体階層の学習には望ましくない。
• 理論的設計目標にかかわらず、ルーティングアルゴリズムはしばしば分類性能を向上させず、単純な均一またはランダムな接続戦略のベースラインを下回ることすらある。
• OptimCaps や AttnCaps などのアルゴリズムでは、問題が悪化する。これらは CapsNet や EMCaps と同じ更新ルールを採用しており、同じ単一収束行動を示す。