[論文レビュー] Explorations in Homeomorphic Variational Auto-Encoding

Luca Falorsi, Pim de Haan+5 more|arXiv (Cornell University)|Jul 12, 2018

Neural Networks and Applications参考文献 10被引用数 59

ひとこと要約

本論文は再パラメータ化トリックを用いて、リーマン群（特に SO(3)）上の多様体値潜在変数をVAEに拡張し、トポロジーに適合する潜在空間が構造を保持し、学習を改善することを示す。

ABSTRACT

The manifold hypothesis states that many kinds of high-dimensional data are concentrated near a low-dimensional manifold. If the topology of this data manifold is non-trivial, a continuous encoder network cannot embed it in a one-to-one manner without creating holes of low density in the latent space. This is at odds with the Gaussian prior assumption typically made in Variational Auto-Encoders (VAEs), because the density of a Gaussian concentrates near a blob-like manifold. In this paper we investigate the use of manifold-valued latent variables. Specifically, we focus on the important case of continuously differentiable symmetry groups (Lie groups), such as the group of 3D rotations $\operatorname{SO}(3)$. We show how a VAE with $\operatorname{SO}(3)$-valued latent variables can be constructed, by extending the reparameterization trick to compact connected Lie groups. Our experiments show that choosing manifold-valued latent variables that match the topology of the latent data manifold, is crucial to preserve the topological structure and learn a well-behaved latent space.

研究の動機と目的

• データが非自明なトポロジーの上にある場合に潜在変数を多様体値にする動機づけを行い、潜在空間の位相構造を保持する。
• コンパクトで連結なリ群、特に SO(3) に焦点を当てた分布の再パラメータ化トリックを開発する。
• データ多様体から潜在リ群への同相を学習するエンコーダと、構造を尊重する群作用を利用したデコーダを設計する。
• 潜在トポロジーをデータ多様体と一致させることが、連続性と再構成を改善し、群作用デコーダが標準デコーダよりも性能を発揮することを実証的に示す。

提案手法

• 再パラメータ化: R^3 上のスケール再パラメータ化可能な分布からサンプルを取り、指数写像で so(3) に写像し、群要素と左から掛けることで分布を SO(3) 上で中心化する。
• 密度: SO(3) 上の誘導された押し分布が Haar 測度に対して絶対連続であることを証明し、ロドリゲス公式を用いた指数写像により密度を導く。
• エンコーダ設計: enc^mu（群元 R_mu へ写像）と enc^sigma（ユークリッド尺度へ写像）に分割する；enc^mu は固定の全射 pi: Y -> SO(3) および SO(3) を Y に埋め込むことで同相を得る。
• デコーダ: SO(3) を用いる群作用デコーダを実装し、潜在表現を回転させてデータ空間へ射影する；ポーズ処理のために Wigner-D 行列を用いたフーリエ解析デコーダを提案する。
• 実験: synthetic SO(3) 埋め込みと回転させたカラ―キューブ画像で、SO(3) 潜在変数をガウスと高次元球ベースのベースラインと比較し、連続性と尤度を NLL/ELBO と再構成で評価する。
• 探索: 平均パラメータ化（例: q, alg, s2s1, s2s2）を分析し、位相知的パラメータ化が連続的な埋め込みを生み出すことを示す。

実験結果

リサーチクエスチョン

• RQ1 SO(3) などのリ群上に存在する潜在変数を再パラメータ化して VAE を学習可能にし、エンドツーエンドの学習と位相保証を得られるか。
• RQ2 潜在空間のトポロジーをデータ多様体に合わせることが、標準的なガウス VAE と比較して連続性、再構成品質、対数尤度を改善するか。
• RQ3 群作用デコーダは単純な MLP デコーダより潜在構造をより良く保存・利用するか。
• RQ4 SO(3) の異なる平均パラメータ化（例: 四元数、リの代数、球体の積分）は連続性と多様体の表現にどのように影響するか。
• RQ5 提案手法はSO(3) を超える他のコンパクトで連結なリ群にも一般化可能か。

主な発見

• SO(3) 分布の再パラメータ化トリックが導出され、SO(3) 潜在変数による VAE の訓練を可能にする。
• エンコーダは SO(3) データ多様体と SO(3) 潜在多様体との同相を学習し、位相構造を保持する。
• 群作用デコーダは性能を向上させ、潜在空間の構造が群に一致することを促進し、MLP デコーダよりも上回る。
• 位相を一致させた潜在変数（特に S^2 × S^2 平均パラメータ化）が、平坦なガウス潜在よりも連続的で忠実な潜在埋め込みを生み出す。
• ガウスおよびリ代数ベースの平均パラメータ化は不連続性を導入する可能性がある一方で、位相認識パラメータ化は潜在軌道の連続性を維持する。
• SO(3) 埋め込みデータと回転キューブ画像の実験から、適切な多様体値潜在のみが連続的な埋め込みと高い対数尤度を達成することを示す。