[論文レビュー] Neural Network Encapsulation

Hongyang Li, Xiaoyang Guo+3 more|arXiv (Cornell University)|Aug 11, 2018

Advanced Neural Network Applications参考文献 24被引用数 4

ひとこと要約

本稿では、反復的ルーティングの計算コストが高く、ネットワークの深さに伴い悪化する問題に対処するため、EncapNetを提案する。このアーキテクチャは、反復的でない、一度限りの教師ありマスターオペラティブルーティング機構に、計算コストの高い反復的ルーティングを置き換える。さらに、最適輸送発散に基づくフィードバック一致ユニットを導入し、特徴学習を正則化することで、強力なデータ拡張下でCIFAR-10/100、SVHN、およびImageNetのサブセットにおいて、それぞれ3.10%、24.01%、40.05%の誤差率を達成し、最先端の性能を実現した。

ABSTRACT

A capsule is a collection of neurons which represents different variants of a pattern in the network. The routing scheme ensures only certain capsules which resemble lower counterparts in the higher layer should be activated. However, the computational complexity becomes a bottleneck for scaling up to larger networks, as lower capsules need to correspond to each and every higher capsule. To resolve this limitation, we approximate the routing process with two branches: a master branch which collects primary information from its direct contact in the lower layer and an aide branch that replenishes master based on pattern variants encoded in other lower capsules. Compared with previous iterative and unsupervised routing scheme, these two branches are communicated in a fast, supervised and one-time pass fashion. The complexity and runtime of the model are therefore decreased by a large margin. Motivated by the routing to make higher capsule have agreement with lower capsule, we extend the mechanism as a compensation for the rapid loss of information in nearby layers. We devise a feedback agreement unit to send back higher capsules as feedback. It could be regarded as an additional regularization to the network. The feedback agreement is achieved by comparing the optimal transport divergence between two distributions (lower and higher capsules). Such an add-on witnesses a unanimous gain in both capsule and vanilla networks. Our proposed EncapNet performs favorably better against previous state-of-the-arts on CIFAR10/100, SVHN and a subset of ImageNet.

研究の動機と目的

• 反復的ルーティングの高い計算複雑性が、ネットワークの深さに伴い悪化する問題に対処すること。
• 二重ブランチルーティング機構により、低レベルのキャプセルが高レベルのキャプセル活性化により効果的に寄与できるようにすることで、特徴表現を向上させること。
• 最適輸送発散に基づくフィードバック正則化機構を導入することで、深層ネットワークにおける情報損失を低減すること。
• 微小で学習可能なフィードバックユニットを用いて、キャプセルネットワークおよび従来のCNNの両方の性能を向上させ、層間の一致を強制すること。

提案手法

• マスター・エイドルーティング機構を導入：マスター分岐は直接的な低レベルキャプセルを使用し、エイド分岐はチャネル全体でパターンの変種を探索して情報を補完する。
• マスター分岐とエイド分岐を一度の教師ありパスで学習し、従来のキャプセルネットワークの反復的で非教師ありルーティングに代わる。
• 高レベルのキャプセル出力を低レベルにフィードバックするフィードバック一致ユニットを設計する。
• 最適輸送発散（Sinkhorn損失）を用いて、低レベルと高レベルのキャプセル特徴間の分布的距離を測定し、学習中にこの距離を最小化する。
• 訓練中に微分可能な正則化損失としてフィードバックユニットを統合し、推論時には削除する。
• 標準的なバックプロパゲーションと組み合わせて、エンドツーエンド学習が可能な畳み込みキャプセル層（capConv）に実装する。

実験結果

リサーチクエスチョン

• RQ1 一度のパスで教師ありルーティング機構は、反復的ルーティングの性能を近似しつつ、計算コストを著しく削減できるか？
• RQ2 高レベルから低レベルのキャプセルへのフィードバック信号を導入することで、キャプセルネットワークにおける特徴学習と一般化性能が向上するか？
• RQ3 最適輸送発散は、深層ネットワークにおける層間一致の正則化指標として効果的か？
• RQ4 提案されたフィードバック機構は、キャプセルネットワークだけでなく、従来のCNNに対しても性能向上をもたらすか？

主な発見

• CIFAR-10では、EncapNetが強力なデータ拡張下で3.10%のテスト誤差率を達成し、以前の最先端手法を上回った。
• CIFAR-100では、EncapNetが24.01%の誤差率を達成し、従来のキャプセルベースモデルと比べて顕著な改善を示した。
• SVHNでは、EncapNetが1.52%の誤差率を達成し、数字認識タスクにおける強力な一般化性能を示した。
• ImageNetのサブセット（h-ImageNet）では、EncapNet_v3++が40.05%のトップ-1誤差率を達成し、2位のWRNモデル（42.51%）を上回った。
• フィードバック一致ユニットは、キャプセルネットワークおよび従来のCNNの両方で性能向上をもたらし、正則化手法としての汎用性を示した。
• アブレーションスタディにより、特徴抽出器、最適輸送発散、マスター・エイド相互作用がすべて性能に不可欠であることが確認され、これらの除去により誤差が著しく増加した。