[論文レビュー] Building Deep, Equivariant Capsule Networks

Sairaam Venkatraman, S. Balasubramanian+1 more|arXiv (Cornell University)|Aug 4, 2019

Advanced Neural Network Applications参考文献 24被引用数 8

ひとこと要約

この論文は、グループ等長畳み込みを用いて各カップルタイプごとに変化空間（SOV）を学習する、深く等長性を保つキャプセルネットワークSOVNETを提案する。これにより、次数中心性を用いたパrameter共有予測と等長性ルーティングが可能となり、計算効率が向上する。モデルは、キャプセルベースラインと比較して変換に対するロバストネスと性能が向上し、構成的一般化を維持する。

ABSTRACT

Capsule networks are constrained by the parameter-expensive nature of their layers, and the general lack of provable equivariance guarantees. We present a variation of capsule networks that aims to remedy this. We identify that learning all pair-wise part-whole relationships between capsules of successive layers is inefficient. Further, we also realise that the choice of prediction networks and the routing mechanism are both key to equivariance. Based on these, we propose an alternative framework for capsule networks that learns to projectively encode the manifold of pose-variations, termed the space-of-variation (SOV), for every capsule-type of each layer. This is done using a trainable, equivariant function defined over a grid of group-transformations. Thus, the prediction-phase of routing involves projection into the SOV of a deeper capsule using the corresponding function. As a specific instantiation of this idea, and also in order to reap the benefits of increased parameter-sharing, we use type-homogeneous group-equivariant convolutions of shallower capsules in this phase. We also introduce an equivariant routing mechanism based on degree-centrality. We show that this particular instance of our general model is equivariant, and hence preserves the compositional representation of an input under transformations. We conduct several experiments on standard object-classification datasets that showcase the increased transformation-robustness, as well as general performance, of our model to several capsule baselines.

研究の動機と目的

• 既存のキャプセルネットワークにおけるパrameter非効率性と証明可能な等長性の欠如に対処すること。
• 層間の全ペアワイズキャプセル関係をモデル化する計算コストを削減すること。
• 各キャプセルタイプに対して、ポーズ変化の多様体（SOV）を学習することで、キャプセルネットワークにおける等長性を形式化すること。
• 変換下でも構成的構造を保つルーティング機構を開発すること。
• 非幾何的構成的関係の表現能力と変換効率のバランスを取ること。

提案手法

• モデルは、群変換下での可能なポーズ変化の多様体を表す、各キャプセルタイプごとの変化空間（SOV）を定義する。
• 群変換のグリッド上で学習可能な等長関数を用いて、各キャプセルタイプのSOVを射影的に符号化する。
• 浅いキャプセルから深いキャプセルへの予測は、タイプ同性の群等長畳み込みを用いて実行され、パラメータ共有と計算効率が実現される。
• ルーティング機構は次数中心性に基づく。これは、最も一貫性のある予測を選択して深いキャプセルを形成する。
• 全フレームワークは、SOVで使用された変換群に関して、証明可能な等長性を保つように設計されている。
• これらのコンponentsを統合して、入力変換下でも構成的構造を保つスケーラブルで深いキャプセルネットワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 全ペアワイズキャプセル関係のパラメータコストを削減することで、キャプセルネットワークを深層アーキテクチャにスケーラブルにできるか？
• RQ2 ポーズ変化の構造的で学習可能な表現を用いることで、キャプセルネットワークにおける等長性を形式的に保証できるか？
• RQ3 予測にグループ等長畳み込みを用いることで、キャプセルネットワークにおける計算効率とロバストネスが向上するか？
• RQ4 次数中心性に基づくルーティング機構は、コンSENSUSベースのルーティングと比較して、変換下でも構成的構造をより効果的に保持できるか？
• RQ5 キャプセルネットワークにおける非幾何的構成的関係の表現能力と変換効率のトレードオフは何か？

主な発見

• SOVNETは、複数のキャプセルネットワークベースラインと比較して、標準的な物体分類データセットにおいてアフィン変換に対して優れたロバストネスを示した。
• 2つのベンチマークデータセットでは、標準的な畳み込みネットワークと同等の性能を達成しており、強力な一般化能力を示した。
• 予測にグループ等長畳み込みを用いることで、顕著なパラメータ共有が実現され、全ペアワイズキャプセル関係のモデル化にかかる計算負荷が削減された。
• 次数中心性に基づくルーティング機構は、一貫性のある部分-全体関係を効果的に同定し、構成的表現の忠実度を向上させた。
• モデルは、SOVで使用された変換群に関して、証明可能な等長性を保つ。これにより、入力変換下でも検出された構成的構造が保たれる。
• 変換効率と非幾何的構成的関係の表現能力の間にはトレードオフが観察された。これは、アーキテクチャ設計における意思決定のトレードオフを示唆している。