[論文レビュー] A Geometric Perspective on Variational Autoencoders

Clément Chadebec, Stéphanie Allassonnière|arXiv (Cornell University)|Sep 15, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

本論文は、学習された事後分布の共分散を用いて、潜在空間をリーマン多様体としてモデル化することで、変分オートエンコーダー（VAEs）の幾何的再考を提案する。標準的なガウス事前分布ではなく、内在的なリーマン計量からの一様分布サンプリングにより、生成品質が向上する。アーキテクチャの変更なしにMNISTおよびCelebAで最先端のFIDスコアを達成し、低データ環境でも優れたロバスト性を示す。

ABSTRACT

This paper introduces a new interpretation of the Variational Autoencoder framework by taking a fully geometric point of view. We argue that vanilla VAE models unveil naturally a Riemannian structure in their latent space and that taking into consideration those geometrical aspects can lead to better interpolations and an improved generation procedure. This new proposed sampling method consists in sampling from the uniform distribution deriving intrinsically from the learned Riemannian latent space and we show that using this scheme can make a vanilla VAE competitive and even better than more advanced versions on several benchmark datasets. Since generative models are known to be sensitive to the number of training samples we also stress the method's robustness in the low data regime.

研究の動機と目的

• 標準VAEにおけるぼやけた生成の問題を、幾何的視点から再解釈することで解決すること。
• 標準ガウス事前分布の制限および、事前分布と集約事後分布との分布不一致の問題を克服すること。
• 潜在空間の内在的リーマン構造を活用することで、補間性と生成忠実度を向上させること。
• 単純な幾何的サンプリングスキームが、特に低データ環境において、より複雑なVAEバリアントを凌駕できることを示すこと。
• さまざまなVAEアーキテクチャ、特にVAMP-VAE や VAEGAN などの最近のモデルに適用可能なプラグイン手法を提供すること。

提案手法

• 事後分布の共分散行列の逆行列をリーマン計量テンソルとして用い、潜在空間をリーマン多様体としてモデル化する：$\mathbf{G}(x) = \mathbf{\Sigma}(x)^{-1}$。
• 訓練データ点における局所的計量を、測地線距離に基づく重み付き平均を用いて補間し、リーマン計量を構築する。
• 学習されたリーマン多様体上の一様分布からサンプリングすることで、潜在空間の滑らかで忠実な探索を保証する。
• 計量補間における局所的およびグローバル的影響のバランスを取るために正則化パラメータ $\rho$ を用いる。これにより、過剰な平滑化や接続性の欠如を防ぐ。
• モデルアーキテクチャや学習プロセスを変更せずに、標準的および高度なVAEにリーマンサンプリングスキームを適用する。
• 事後分布共分散の逆行列によるプルバック変換を通じて、標準ユークリッド計量のプルバック計量としてリーマン計量を定義し、情報幾何と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 標準VAEの潜在空間は、事後分布共分散構造を用いて自然にリーマン多様体として解釈できるか？
• RQ2 学習されたリーマン多様体上の内在的均一分布からのサンプリングは、標準ガウスサンプリングに比べて生成品質を向上させるか？
• RQ3 この幾何的サンプリング手法は、特に低データ環境において、より複雑なVAEアーキテクチャを凌駆できるか？
• RQ4 本手法は、集約事後分布を再推定する二段階VAEと比べて、どのように差をつけるか？
• RQ5 この幾何的サンプリングスキームは、現代のVAEバリアントへどの程度一般化可能で統合可能か？

主な発見

• 提案されたリーマンサンプリングスキームは、MNISTでFID 9.9、CelebAでFID 49.6を達成し、ベースラインVAEおよび[15]の二段階VAEを上回った。
• 同じベンチマークにおいて、VAMP-VAEに適用した場合、CelebAではFIDを67.2（事前ベース）から60.9へ、MNISTでは34.5から32.7へと低下させた。
• AAEおよびVAEGANでは、FIDが19.1から11.7、8.7から6.1へとそれぞれ低下し、アーキテクチャを問わず一貫した向上が確認された。
• 低データ環境において優れたロバスト性を示し、訓練データサイズが小さくなるほど性能向上が顕著になった。
• VAMP-VAE、VAEGAN、IWAEを含む最先端モデルに対しても、本手法は生成品質の向上をもたらし、広範な適用可能性を示した。
• リーマン計量が事後分布共分散によって誘導されるプルバック計量と等価であることが示され、微分幾何学的根拠が裏付けられた。