[論文レビュー] Group Equivariant Capsule Networks

Jan Eric Lenssen, Matthias Fey+1 more|arXiv (Cornell University)|Jun 13, 2018

Topic Modeling参考文献 15被引用数 71

ひとこと要約

この論文は、グループ要素でルーティングすることによりポーズベクトルの同変性を保証し、活性化の不変性を確保するグループ等変 Capsule ネットワークを導入し、カプセルネットワークとグループ畳み込みを結びつけて、疎で姿勢ガイド付き、表現を分離した CNN を実現する。

ABSTRACT

We present group equivariant capsule networks, a framework to introduce guaranteed equivariance and invariance properties to the capsule network idea. Our work can be divided into two contributions. First, we present a generic routing by agreement algorithm defined on elements of a group and prove that equivariance of output pose vectors, as well as invariance of output activations, hold under certain conditions. Second, we connect the resulting equivariant capsule networks with work from the field of group convolutional networks. Through this connection, we provide intuitions of how both methods relate and are able to combine the strengths of both approaches in one deep neural network architecture. The resulting framework allows sparse evaluation of the group convolution operator, provides control over specific equivariance and invariance properties, and can use routing by agreement instead of pooling operations. In addition, it is able to provide interpretable and equivariant representation vectors as output capsules, which disentangle evidence of object existence from its pose.

研究の動機と目的

• Guaranteed equivariance and disentangled representations in capsule networks の必要性を動機づける。
• グループ要素をポーズとして持つグループカプセル層を定義し、グループ G に対する同変性/不変性を証明する。
• 局所受容野でのプーリング時に同変性を保持する空間集約法を開発する。
• グループカプセルをグループ畳み込みと結びつけて、姿勢ガイド付きの疎な CNN で不変な活性化とポーズの同変性を実現する。
• MNIST 系データセットで手法を実証し、性質と表現の分離を検証する。

提案手法

• グループカプセルのポーズ計算を L_p、活性化計算を L_a として定義する。

実験結果

リサーチクエスチョン

• RQ1 ルーティングの同意によって、ポーズの同変性と活性化の不変性をグループの要素上で保証できるか。
• RQ2 局所的な空間集約をグループカプセルネットワークで同変性を壊すことなくどのように行うか。
• RQ3 グループカプセルをグループ畳み込みと統合して、姿勢情報を反映した疎な CNN で分離表現を得られるか。
• RQ4 提案手法は、MNIST のような標準データセットにおいて、グループ変換下での同変性/不変性を検証可能に示すか。

主な発見

Dataset	CNN(*)	Capsules	Whole
MNIST rot. (50k)	92.30%	81.64%	90.19%
AffNist	94.68%	71.86%	91.87%
MNIST rot. (50k)	98.42%	89.10%	97.40%

• グループカプセル層は、等変性平均とデルタ保持型距離測度が与えられれば、ポーズベクトルを左同変、活性化を変換に対して不変にする。
• ポーズ整列カーネル集約は、空間集約における非同変性問題に対処し、変換された入力間での一貫した投票を可能にする。
• グループ畳み込みとの組み合わせは、疎な評価を可能にし、姿勢の同変性を保ちつつ活性化の不変性を保持する。
• 回転MNISTでの概念実証実験は、非常に小さな数値誤差で活性化の厳密な不変性と姿勢の同変性を示し、未知の回転への一般化も合理的である。
• 姿勢ガイド付き CNN を含む統合アーキテクチャは、回転MNISTおよび AFFNIST で競争力のある精度を達成しつつ、いくつかのベースラインよりもはるかに少ないパラメータを使用する。
• 表現には、分離された姿勢ベクトルや、姿勢変換を介して画像を再構成または操作する可能性が含まれる。