[論文レビュー] Limitations of routing-by-agreement based capsule networks.

David Peer, Sebastian Stabinger+1 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 11被引用数 7

ひとこと要約

この論文は、ルーティング・バイ・アポイントメント型のキャプセルネットワークにおける根本的な制限を特定している：バイアス項の欠如により、対称的な入力のあいまいさが生じ、より深いアーキテクチャの学習が損なわれる。著者らは、パラメータを追加せずに、学習可能なバイアス項または新しいバイアス符号化法をキャプセル活性化ベクトルに導入することで、より深いキャプセルネットワークの安定した学習を可能にした。

ABSTRACT

Classical neural networks add a bias term to the sum of all weighted inputs. For capsule networks, the routing-by-agreement algorithm, which is commonly used to route vectors from lower level capsules to upper level capsules, calculates activations without a bias term. In this paper we show that such a term is also necessary for routing-by-agreement. We will proof that for every input there exists a symmetric input that cannot be distinguished correctly by capsules without a bias term. We show that this limitation impacts the training of deeper capsule networks negatively and that adding a bias term allows for the training of deeper capsule networks. An alternative to a bias is also presented in this paper. This novel method does not introduce additional parameters and is directly encoded in the activation vector of capsules.

研究の動機と目的

• ルーティング・バイ・アポイントメントにおけるバイアス項の欠如が、キャプセルネットワークにおける根本的な制限であることを特定すること。
• バイアスが存在しない場合、対称的な入力が区別できず、学習の不安定性を引き起こすことを示すこと。
• バイアス項を導入することで、より深いキャプセルネットワークの成功した学習が可能になることを示すこと。
• 追加のパラメータを追加せずに、直接的にキャプセル活性化ベクトルに符号化されたバイアス機構を提案すること。

提案手法

• 理論的分析により、任意の入力に対して、バイアス項がなければ区別できない対称的な入力が存在することを証明した。
• ルーティング・バイ・アポイントメント機構に学習可能なバイアス項を導入し、対称性のあいまいさを解消した。
• 代替手法として、バイアスをキャプセル活性化ベクトルに直接符号化することで、追加の学習可能なパラメータを回避した。
• 提案されたバイアス機構をルーティングアルゴリズムに統合し、より深いキャプセルネットワークアーキテクチャで評価した。
• 理論的および実験的検証により、導入されたバイアスによって、より深いネットワークにおける安定性と性能が向上したことが確認された。

実験結果

リサーチクエスチョン

• RQ1 ルーティング・バイ・アポイントメントにおけるバイアス項の欠如が、キャプセルネットワークにおける対称的入力の区別にあいまいさをもたらすか？
• RQ2 バイアス項の欠如が、より深いキャプセルネットワークの学習にどのような影響を及ぼすか？
• RQ3 学習可能なバイアス項を導入することで、より深いキャプセルネットワークの学習安定性と性能が向上するか？
• RQ4 キャプセルネットワークにおいて、追加のパラメータを追加せずにバイアス統合が可能か？

主な発見

• ルーティング・バイ・アポイントメントにおけるバイアス項の欠如により、キャプセルネットワークは対称的入力を区別できず、根本的なアーキテクチャ的制限が生じる。
• バイアスが存在しない場合、ルーティング意思決定における対称性に起因するあいまいさにより、より深いキャプセルネットワークの学習が不安定になる。
• 学習可能なバイアス項を導入することで、対称性に起因するあいまいさが解消され、より深いキャプセルネットワークの成功した学習が可能になる。
• 直接的にキャプセル活性化ベクトルに符号化された代替バイアス手法は、追加の学習可能なパラメータを追加せずに、同等の利点を達成した。