[論文レビュー] Unsupervised Object Representation Learning using Translation and Rotation Group Equivariant VAE

Alireza Nasiri, Tristan Bepler|arXiv (Cornell University)|Oct 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

TARGET-VAE は、符号化器および生成器ネットワークにおける群同変性を強制することで、回転および平行移動不変なオブジェクト表現を、完全に教師なしの変分オートエンコーダとして学習する。この手法は、同時に意味的、回転的、並進的潜在変数を推論し、回転や平行移動による歪みが強い画像に対しても、教師なしポーズ推定および意味的クラスタリングにおいて最先端の性能を達成する。

ABSTRACT

In many imaging modalities, objects of interest can occur in a variety of locations and poses (i.e. are subject to translations and rotations in 2d or 3d), but the location and pose of an object does not change its semantics (i.e. the object's essence). That is, the specific location and rotation of an airplane in satellite imagery, or the 3d rotation of a chair in a natural image, or the rotation of a particle in a cryo-electron micrograph, do not change the intrinsic nature of those objects. Here, we consider the problem of learning semantic representations of objects that are invariant to pose and location in a fully unsupervised manner. We address shortcomings in previous approaches to this problem by introducing TARGET-VAE, a translation and rotation group-equivariant variational autoencoder framework. TARGET-VAE combines three core innovations: 1) a rotation and translation group-equivariant encoder architecture, 2) a structurally disentangled distribution over latent rotation, translation, and a rotation-translation-invariant semantic object representation, which are jointly inferred by the approximate inference network, and 3) a spatially equivariant generator network. In comprehensive experiments, we show that TARGET-VAE learns disentangled representations without supervision that significantly improve upon, and avoid the pathologies of, previous methods. When trained on images highly corrupted by rotation and translation, the semantic representations learned by TARGET-VAE are similar to those learned on consistently posed objects, dramatically improving clustering in the semantic latent space. Furthermore, TARGET-VAE is able to perform remarkably accurate unsupervised pose and location inference. We expect methods like TARGET-VAE will underpin future approaches for unsupervised object generation, pose prediction, and object detection.

研究の動機と目的

• 教師なしで、画像内のオブジェクトの並進および回転に対して不変な意味的表現を学習すること。
• 標準的な VAE が意味的コンテンツからポーズおよび位置を分離できないという限界を解決すること。
• 空間的変換の構造的インダクティブバイアスを組み込むことで、教師なしのポーズおよび位置推定を改善すること。
• オブジェクトがランダムに方向付けられ、位置が変動するような、例え cryo-EM のような画像モodal に対しても、頑健な表現学習を可能にすること。
• 完全に微分可能でエンドツーエンドのフレームワークを構築し、分離性と再構成を同時に最適化すること。

提案手法

• 回転および並進の群同変な符号化器ネットワークを採用し、変換に特化した特徴を抽出する。
• 構造的に分離された変分事後分布を用い、潜在変数を意味的、回転的、並進的成分に分離する。
• 空間的に同変な生成器ネットワークを実装し、分離された潜在変数から画像を再構成する。
• 回転に一様な事前分布を適用し、すべての潜在変数の事後分布を近似するための統合推論ネットワークを用いる。
• 符号化器および生成器の両方で重み共有および群畳み込み演算を用いて同変性を強制する。
• ポーズや位置に関する教師信号を一切用いずに、観測された画像のみでモデル全体をエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしの VAE は、オブジェクトの並進および回転に対して不変な分離可能な表現を学習できるか？
• RQ2 何の教師信号も与えずに、モデルはオブジェクトのポーズ（回転および並進）を正確に推定できるか？
• RQ3 分離可能な表現は、意味的オブジェクトクラスの下流クラスタリングを改善するか？
• RQ4 このフレームワークは、例え cryo-EM の顕微鏡像のようにノイズが多く、変動が激しい現実世界の画像データにも一般化可能か？
• RQ5 群同変設計は、標準的な VAE と比較して、表現品質をどのように向上させるか？

主な発見

• TARGET-VAE は、回転および並進による歪みが強い学習画像に対しても、一貫したポーズのデータから得られる表現とほぼ同等の正確さで意味的表現を学習する。
• モデルは、何の教師信号も不要な状態で、高精度な教師なしポーズ推定を達成し、オブジェクトの回転および並進を正確に推定する。
• 潜在空間における意味的クラスタリングは、既知の意味的ラベルと一致し、cryo-EM データセットでは粒子の視点と不純物が明確に分離されている。
• EMPIAR-10025 では、3つの明確なクラスタが、異なる粒子の視点および不純物状態に対応しており、同定されている。
• EMPIAR-10029 では、粒子の視点における連続的な変化がモデルによって発見され、回転および並進に依存しないノイズ低減再構成が生成されている。
• 従来の手法と比較して、分離性において顕著に優れており、ポーズと意味的コンテンツの混合（pose-semantic entanglement）といった一般的な病理を回避している。