[論文レビュー] Topographic VAEs learn Equivariant Capsules

Timothy A. Keller, Max Welling|arXiv (Cornell University)|Sep 3, 2021

Image Processing and 3D Reconstruction参考文献 45被引用数 6

ひとこと要約

本稿では、時間的整合性を強制することで、教師なしの時系列データから局所的に組織化され、近似的に等変換性を持つキャプセル表現を学習する、トップオグラフィック変分オートエンコーダー（TVAE）を提案する。変換された入力系列（例：回転または色相シフトされたMNISTデジット）を用いて訓練することで、モデルは解き放たれた等変換特徴を発見し、推論と変換作用素の可換性を通じて、より高い尤度と定量的に検証された等変換性を達成する。

ABSTRACT

In this work we seek to bridge the concepts of topographic organization and equivariance in neural networks. To accomplish this, we introduce the Topographic VAE: a novel method for efficiently training deep generative models with topographically organized latent variables. We show that such a model indeed learns to organize its activations according to salient characteristics such as digit class, width, and style on MNIST. Furthermore, through topographic organization over time (i.e. temporal coherence), we demonstrate how predefined latent space transformation operators can be encouraged for observed transformed input sequences -- a primitive form of unsupervised learned equivariance. We demonstrate that this model successfully learns sets of approximately equivariant features (i.e. "capsules") directly from sequences and achieves higher likelihood on correspondingly transforming test sequences. Equivariance is verified quantitatively by measuring the approximate commutativity of the inference network and the sequence transformations. Finally, we demonstrate approximate equivariance to complex transformations, expanding upon the capabilities of existing group equivariant neural networks.

研究の動機と目的

• 新しいインダクティブバイアスを導入することで、深層生成モデルにおけるトップオグラフィー的組織化と等変換性を統合すること。
• 明示的な教師信号やハードコードされた対称性を用いずに、時系列データから近似的に等変換キャプセル表現を無教師学習で学習可能にすること。
• 時系列における時間的整合性が、潜在空間におけるトップオグラフィー的組織化と等変換性を誘発できることを示すこと。
• 変換に対して相対的なポーズ構造が保持されることを確認し、未観測の変換組み合わせへの一般化を可能にすること。
• グループ等変換ネットワークの能力を拡張し、色と回転や透視変換などの複雑な非線形変換を学習可能にすること。

提案手法

• モデルは、特徴活性が入力変換に従って空間的に構造化されるトップオグラフィー的組織化された潜在空間を有する変分オートエンコーダー（VAE）を用いる。
• 時間的整合性を確保するため、変換された入力系列を時系列としてモデル化し、時間ステップにわたる潜在表現の滑らかでゆっくりとした変化を促進する。
• 主な革新点は、キャプセル次元内で「ロール（roll）」操作を用いて変換作用素（例：回転）を模倣することであり、これによりモデルはキャプセルを横断して活性をロールすることで系列を復号可能になる。
• 潜在活性と観測された入力変換を一致させるために、微分可能ルーティング機構を介して共通の変換作用素を学習する。
• 推論ネットワークは、変換作用素とほぼ可換になるように訓練され、可換性を可換性損失を用いて定量的に評価する。
• モデルは円形および因果的畳み込みをサポートしており、時間的依存性を持つオンラインまたはストリーミング設定への応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時系列データにおける時間的整合性が、深層生成モデルの潜在空間にトップオグラフィー的組織化と等変換性を誘発できるか？
• RQ2 トップオグラフィー的VAEは、明示的な教師信号なしに、教師なしの時系列データから近似的に等変換キャプセル表現を学習できるか？
• RQ3 モデルは、色と回転の組み合わせなどの未観測の変換組み合わせに、アーキテクチャの変更なしに一般化できるか？
• RQ4 推論と変換作用素の近似的可換性を通じて、定量的に検証された等変換性をどの程度達成できるか？
• RQ5 モデルは、完全に無教師の状態で、透視変換などの複雑な非線形変換を学習できるか？

主な発見

• TVAEは、MNISTにおいて数字クラス、幅、スタイルなどの顕著な特徴を反映するトップオグラフィー的組織化された潜在表現を成功裏に学習した。
• 色と回転の複合変換を伴うテスト系列において、ベースラインVAEと比較してより高い尤度を達成した。
• 定量的評価により、可換性損失を通じて近似的な等変換性が確認され、推論ネットワークと変換作用素がほぼ可換であることが示された。
• 色と透視変換の組み合わせなど、未観測の変換組み合わせに対しても、アーキテクチャの変更なしに一般化でき、ロバストネスと分離性が示された。
• Kがキャプセルサイズに等しいとき、ロール操作によって観測空間に顕著な変化が生じないため、モデルは不変表現を学習した。
• キャプセルトレースの結果、初期活性をロールすることで、色と回転の複合変換ですら正確な再構成が可能であることが示された。