[論文レビュー] Mixed-curvature Variational Autoencoders

Ondrej Skopek|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 12

ひとこと要約

本稿では、ユークリッド、球面、双曲空間からなる定曲率リーマン多様体の積から成る潜在空間へ一般化された混合曲率変分オートエンコーダー（MVAE）を提案する。これにより、柔軟で曲率に依存しない表現学習が可能になる。モデルは各成分ごとの学習可能な曲率をサポートし、MNIST、Omniglot、CIFAR-10の画像再構成および尤度推定において、標準的なVAEや単一曲率ベースラインを上回る性能を発揮する。

ABSTRACT

Euclidean geometry has historically been the typical "workhorse" for machine learning applications due to its power and simplicity. However, it has recently been shown that geometric spaces with constant non-zero curvature improve representations and performance on a variety of data types and downstream tasks. Consequently, generative models like Variational Autoencoders (VAEs) have been successfully generalized to elliptical and hyperbolic latent spaces. While these approaches work well on data with particular kinds of biases e.g. tree-like data for a hyperbolic VAE, there exists no generic approach unifying and leveraging all three models. We develop a Mixed-curvature Variational Autoencoder, an efficient way to train a VAE whose latent space is a product of constant curvature Riemannian manifolds, where the per-component curvature is fixed or learnable. This generalizes the Euclidean VAE to curved latent spaces and recovers it when curvatures of all latent space components go to 0.

研究の動機と目的

• 木構造的または階層的な構造を含む多様なデータ幾何を捉えることが難しい単一曲率潜在空間の制限を解消すること。
• ユークリッド、球面、双曲空間からなる定曲率多様体の積における変分推論の統一フレームワークを構築すること。
• 各潜在成分ごとに学習可能な曲率を可能とし、モデルがデータ構造に合わせて幾何を適応可能とすること。
• 効率的な最適化と微分可能な演算を維持しながら、VAEを非ユークリッド潜在空間へ一般化すること。
• 複数のデータセットにおける画像再構成および尤度モデリングの性能向上を実証的に検証すること。

提案手法

• 各潜在成分が定曲率空間（K > 0：球面、K = 0：ユークリッド、K < 0：双曲）に属する積多様体構造を採用する。
• 射影法を用いて、超球面や双曲面の点をポアンカレ球および投影球にマッピングし、曲率がゼロに近づくとユークリッド空間に収束することを保証する。
• 一般化されたガウス型事前分布を定義し、非ユークリッド空間における加法およびスカラー乗法の操作にギャロベクトル空間を用いる。
• リーマン多様体の指数写像・対数写像、平行移動、等角計量テンソルを用いて、バックプロパゲーションを可能とするVAE目的関数を拡張する。
• 各成分ごとに固定または学習可能な曲率をサポートし、ELBOを用いてエンドツーエンドで曲率パラメータを最適化する。
• 安定で曲率収束性を持つ最適化を実現するため、ポアンカレ球および投影球モデルを用いる。ゼロ曲率での発散を回避する。

実験結果

リサーチクエスチョン

• RQ1 統一されたVAEフレームワークは、ユークリッド、球面、双曲空間といった複数の定曲率潜在空間を効果的に統合し、表現学習を向上させることができるか？
• RQ2 各成分ごとの曲率を学習可能とすることで、固定曲率または単一曲率モデルよりも優れた性能が得られるか？
• RQ3 多様な幾何的構造を有するデータセットにおいて、標準的なユークリッドVAEや単一曲率VAEと比較して、本モデルの性能はどの程度か？
• RQ4 正曲率、ゼロ曲率、負曲率空間の間を滑らかに遷移させても最適化の不安定性が生じないか？
• RQ5 画像生成タスクにおける尤度および再構成品質に、混合曲率潜在空間がどのような影響を与えるか？

主な発見

• 72次元の潜在空間を有するMNISTデータセットにおいて、混合曲率MVAE（E24×H24×S24）はテスト尤度を-75.11±0.05に達成し、標準的なユークリッドVAE（E72: -74.42±0.06）を上回った。
• Omniglotデータセットでは、E2×H2×S2成分を有するMVAEが-135.93±0.48の尤度を達成し、最良の単一曲率ベースライン（U6: -136.04±0.17）を上回った。
• CIFAR-10では、E2×H2×S2成分を有するMVAEが-1895.46±0.92の尤度を達成し、標準的なユークリッドVAE（E6: -1896.19±2.54）を上回った。
• 学習可能な曲率を有するモデル（例：(D2)12×(E2)12×(P2)12）は、すべてのデータセットで固定曲率モデルを下回る負の対数尤度を達成し、データ幾何への適応性の向上を示した。
• E2)12×(H2)12×(S2)12成分を有するMVAEはOmniglotで最高の尤度（−114.85±0.38）を達成し、次に優れたモデル（S6: −116.42±0.32）を著しく上回った。
• 可視化により、MVAEは異なる曲率成分において意味的で分離可能な表現を学習していることが確認され、潜在空間に明確な幾何的構造が現れた。