[論文レビュー] Unsupervised Learning of Group Invariant and Equivariant Representations

Robin Winter, Marco Bertolini+3 more|arXiv (Cornell University)|Feb 15, 2022

Medical Imaging and Analysis被引用数 7

ひとこと要約

本論文は、再構成を整列させるために学習可能な群作用を用いることで、任意の群 $G$ に対して群不変および群同変表現を分離する非教師ありオートエナボーダーフレームワークを提案する。このフレームワークは、点群、分子、3D形状など多様なデータタイプにおいて、最小限のアーキテクチャ制約と強力な一般化性能で、不変表現学習の分野で最先端の性能を達成している。

ABSTRACT

Equivariant neural networks, whose hidden features transform according to representations of a group G acting on the data, exhibit training efficiency and an improved generalisation performance. In this work, we extend group invariant and equivariant representation learning to the field of unsupervised deep learning. We propose a general learning strategy based on an encoder-decoder framework in which the latent representation is separated in an invariant term and an equivariant group action component. The key idea is that the network learns to encode and decode data to and from a group-invariant representation by additionally learning to predict the appropriate group action to align input and output pose to solve the reconstruction task. We derive the necessary conditions on the equivariant encoder, and we present a construction valid for any G, both discrete and continuous. We describe explicitly our construction for rotations, translations and permutations. We test the validity and the robustness of our approach in a variety of experiments with diverse data types employing different network architectures.

研究の動機と目的

• 群作用下でのデータの不変および同変成分を明示的に分離する非教師あり表現学習手法の開発。
• 座標パrametrizationに対称性が顕在化しない状況においても、教師なしで群不変表現を学習する課題に対処する。
• 回転、平行移動、置換を含む、離散的および連続的群を含む、任意の群 $G$ に対して有効な一般フレームワークの構築。
• オートエナボーダーにおける群の対称性をインダクティブバイアスとして活用することで、一般化性能と学習効率の向上。
• 分子や3Dポイントクラウドなど、高次元入力空間を持つ実世界のデータへのこのフレームワークの応用を可能にする。

提案手法

• 潜在変数 $z$ が群不変成分と群作用成分に分解されるエンコーダ・デコーダ型オートエナボーダー構造を採用。
• 群作用関数 $\psi$ は、再構成データ $\delta(\eta(x), g)$ と入力 $x$ を整列させるために、適切な群変換 $g \in G$ を予測する。これにより、対称性が存在する状況でも再構成が可能になる。
• エンコーダは $G$ に関して同変であることが制約され、$\eta(g \cdot x) = \rho_G(g) \cdot \eta(x)$ を満たす。ここで $\rho_G$ は $G$ の表現である。
• デコーダは、予測された群作用 $g$ を標準再構成 $\hat{x}$ に適用することで入力を再構成し、$\delta(z, g) = \rho_X(g) \cdot \hat{x}$ を用いる。
• 本手法は任意の群 $G$ に適用可能であり、$SO(3)$、$\mathbb{R}^3$、$S_N$ などに対しても明示的な構成が提供されている。
• 本フレームワークは、標準的および変分的オートエナボーダーの両方と互換性があり、不変表現の生成的モデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ拡張や対称性に配慮した教師信号に依存せずに、非教師ありで群不変および同変表現を学習できるか？
• RQ2 不変および同変成分の正しい分離を保証するための、エンコーダおよび群作用関数に必要な数学的条件は何か？
• RQ3 任意の群 $G$（連続的および離散的群を含む）に対して有効な一般化可能なフレームワークをどのように構築できるか？
• RQ4 このフレームワークは、形状分類や分子コンformation再構成といった表現学習タスクにおける一般化性能と下流タスク性能を向上させられるか？
• RQ5 標準的なオートエナボーダーと比較して、分離された表現は、潜在空間におけるロバスト性と構造的整列性において優れているか？

主な発見

• QM9データセットにおける分子コンformationの再構成RMSEは $0.15 \pm 0.07~\text{\AA}$ を達成し、5000例の未学習テスト例において原子種別精度が100%であった。
• ShapeNetデータセットでは、不変埋め込みに基づくKNN分類器が81%の精度を達成したのに対し、非不変埋め込みでは63%にとどまり、優れた一般化性能が示された。
• TSNE可視化では、不変オートエナボーダーがクラス分離が明確な構造的整列された潜在空間を生成した一方、非不変モデルでは方向のばらつきによりクラスタが散逸していた。
• 本フレームワークは、回転および平行移動下でのテトリス形状についても、潜在空間のクラスタリングが形状クラスと一致するように、分離された表現を学習した。
• 本手法は、3Dポイントクラウド、分子コンformation、2D画像など多様なアーキテクチャおよびデータタイプに一般化可能であり、一貫した性能向上を示した。
• 本フレームワークは、変分オートエナボーダーとも完全に互換性があり、不変表現の確率的モデリングを可能にし、生成的応用への応用が期待できる。