[論文レビュー] Adaptive Routing Between Capsules

Qiang Ren, Shaohua Shang+1 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Neural Network Applications参考文献 17被引用数 4

ひとこと要約

この論文は、勾配消失を防ぐために結合係数を排除することで、深層スタッキング中に勾配消失を回避する、自己適応ルーティングアルゴリズムを提案している。これにより、より深いアーキテクチャの安定した学習が可能になる。反復的ルーティングを学習可能なハイパーパrameter λに置き換えることで、計算量を削減しつつ、MNIST、Fashion-MNIST、SVHN、CIFAR-10で最先端の性能を達成している。

ABSTRACT

Capsule network is the most recent exciting advancement in the deep learning field and represents positional information by stacking features into vectors. The dynamic routing algorithm is used in the capsule network, however, there are some disadvantages such as the inability to stack multiple layers and a large amount of computation. In this paper, we propose an adaptive routing algorithm that can solve the problems mentioned above. First, the low-layer capsules adaptively adjust their direction and length in the routing algorithm and removing the influence of the coupling coefficient on the gradient propagation, so that the network can work when stacked in multiple layers. Then, the iterative process of routing is simplified to reduce the amount of computation and we introduce the gradient coefficient $λ$. Further, we tested the performance of our proposed adaptive routing algorithm on CIFAR10, Fashion-MNIST, SVHN and MNIST, while achieving better results than the dynamic routing algorithm.

研究の動機と目的

• 複数層をスタックした際のキャプセルネットワークにおける勾配消失問題に対処し、深層ネットワークの学習を可能にする。
• 動的ルーティングの限界、特に勾配伝搬を抑制する結合係数のスパarsityに起因する問題を克服する。
• 反復的ルーティングプロセスを単純化することで、計算コストを削減しつつ性能を損なわない。
• 結合係数に依存しない勾配伝搬を実現することで、より深いキャプセルネットワークの安定した学習を可能にする。
• 固定されたルーティング反復回数の代わりに、学習可能なハイパーパrameter λを用いて性能を最適化する。

提案手法

• 動的ルーティング機構の結合係数 c_ij を、低レベルキャプセル状態への自己適応的更新に置き換え、c_ij が勾配伝搬に与える影響を排除する。
• 各反復で低レベルキャプセル活性化およびルーティングベクトルのみを更新することで、前方層への勾配伝搬を向上させる。
• ルーティング強度を制御するハイパーパrameter λ を導入し、動的ルーティングにおける固定反復回数を置き換える。
• 反復的結合係数更新を削除することでルーティングプロセスを単純化し、計算オーバーヘッドを低減する。
• λ を用いて勾配増幅を制御することで、深層キャプセルアーキテクチャにおけるより効果的なバックプロパゲーションを可能にする。
• 低レベルキャプセルが高レベルキャプセルの予測に自己適応的に整合するようにルーティングプロセスを設計し、特徴表現を向上させる。

実験結果

リサーチクエスチョン

• RQ1 なぜ動的ルーティングが深層キャプセルネットワークで勾配消失を引き起こすのか？また、結合係数 c_ij がこの問題にどのように寄与しているのか？
• RQ2 ルーティングプロセスから結合係数を排除することで、スタックドキャプセルネットワークにおける勾配消失問題を解消できるか？
• RQ3 提案された自己適応ルーティングアルゴリズムは、より深いキャプセルネットワークアーキテクチャにおける性能と安定性をどのように向上させるのか？
• RQ4 固定反復回数の代わりに単一のハイパーパrameter λ を用いることで、反復的ルーティングプロセスをどの程度単純化できるか？性能劣化を伴わないか？
• RQ5 異なるデータセットおよびネットワーク深さにおいて、高い性能を達成するための最適な λ の値は何か？

主な発見

• 自己適応ルーティングアルゴリズムは、MNISTで元の動的ルーティング手法を上回る最先端の性能を達成した。
• Fashion-MNISTでは、4層のキャプセルと λ = 2 を用いた場合、93.71%の精度に達し、動的ルーティングを上回る性能を示した。
• CIFAR-10では、4層と λ = 3 を用いた場合、78.68%の精度を達成し、ベースラインの動的ルーティングよりも一貫した改善を示した。
• λ が低すぎると（例：0.0001 以下）、特に深層アーキテクチャでは勾配消失によりネットワークが崩壊する。
• 性能は λ に敏感である：Fashion-MNISTでは最適値が λ = 2 または 3、CIFAR-10では λ = 1 または 3 であり、勾配増幅とノイズの間のトレードオフが顕在化している。
• 自己適応ルーティング手法により、4層までのキャプセルネットワークの安定した学習が可能になったが、標準的な動的ルーティングでは勾配抑制のため、これは不可能であった。