[論文レビュー] Variational Autoencoders with Riemannian Brownian Motion Priors

Dimitris Kalatzis, David Eklund+2 more|arXiv (Cornell University)|Feb 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 9

ひとこと要約

本稿では、標準的なガウス事前分布を、潜在多様体上でのリーマン的ブラウン運動事前分布に置き換えることで、幾何学的に整合的で再パrameterization不変な表現を可能にするリーマン型変分オートエンコーダー（R-VAE）を提案する。この手法は、引き合い度度計を用いて内挿的距離を定義し、多様体の不一致を回避する効率的なサンプリングスキームを採用しており、追加のスカラーパrameterを1つだけ追加するだけでモデル容量を著しく向上させる。

ABSTRACT

Variational Autoencoders (VAEs) represent the given data in a low-dimensional latent space, which is generally assumed to be Euclidean. This assumption naturally leads to the common choice of a standard Gaussian prior over continuous latent variables. Recent work has, however, shown that this prior has a detrimental effect on model capacity, leading to subpar performance. We propose that the Euclidean assumption lies at the heart of this failure mode. To counter this, we assume a Riemannian structure over the latent space, which constitutes a more principled geometric view of the latent codes, and replace the standard Gaussian prior with a Riemannian Brownian motion prior. We propose an efficient inference scheme that does not rely on the unknown normalizing factor of this prior. Finally, we demonstrate that this prior significantly increases model capacity using only one additional scalar parameter.

研究の動機と目的

• 標準的なガウス事前分布が、ユークリッド的潜在空間を仮定することで生じる多様体の不一致と、劣悪なサンプル品質を引き起こすという、VAEにおける限界を是正すること。
• 再パラメータ化に依存しない、内挿的構造を尊重する幾何学的不変な事前分布を、任意のユークリッド的距離に依存せずに構築すること。
• 追加パラメータを最小限に抑えるリーマン的ガウス事前分布の一般化、すなわちリーマン的ブラウン運動を導入すること。
• Riemann事前分布の未知の正規化定数を計算する必要がない、効率的な推論スキームを設計すること。
• 幾何学的にインフォームドな事前分布が、特に低次元潜在空間においてVAEの性能を向上させることを、定性的および定量的評価を通じて示すこと。

提案手法

• 潜在空間を、デコーダーのヤコビ行列から導出される引き合い度度計を用いてリーマン多様体としてモデル化し、再パラメータ化に対して不変であることを保証する。
• 標準的なガウス事前分布の代わりに、1つの学習可能なスカラーパラメータを持つ、潜在多様体上での拡散過程であるリーマン的ブラウン運動事前分布を採用する。
• 推論スキームは、未知の正規化定数を必要としないリーマン幾何学を尊重するSDE（確率微分方程式）を用いて、Riemann事前分布からサンプリングする。
• SDEは、リーマン幾何学を尊重する数値積分法によって解かれ、潜在多様体の像における安定的かつ意味のあるサンプリングを可能にする。
• Riemann事前分布はELBOのKLダイバージェンス項に統合され、標準的なVAEの目的関数に従ってエンドツーエンドで学習される。
• 引き合い度度計は、デコーダーネットワークを介したバックプロパゲーションにより学習中に計算され、潜在幾何学の勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 リーマン的ブラウン運動事前分布は、標準的なガウス事前分布と比較して、VAEの表現能力を向上させることができるか？
• RQ2 潜在空間をリーマン的構造でモデル化することで、多様体の不一致が軽減され、サンプル品質が向上するか？
• RQ3 追加のスカラーパラメータ1つで構築される幾何学的に整合的な事前分布は、低次元設定においてより複雑な学習可能な事前分布を上回る性能を発揮できるか？
• RQ4 リーマン事前分布は潜在空間の再パラメータ化に対して不変であるため、同定可能性の問題が解消されるか？
• RQ5 引き合い度度計は、潜在空間における不確実性推定とサンプリング行動にどのように影響を与えるか？

主な発見

• R-VAEは、潜在多様体の像に制限してサンプリングすることで、多様体の不一致を顕著に低減しており、潜在空間の低密度領域を避けるサンプルが得られている。
• リーマン的ブラウン運動事前分布は、特に低次元潜在空間において、サンプル品質と再構成性能を向上させ、標準的なガウス事前分布を用いたVAEを上回る。
• 追加のスカラーパラメータを1つだけ追加するだけで、複雑性を増さずにモデル容量が向上している。
• 引き合い度度計により、潜在空間における距離が幾何学的に意味を持ち、再パラメータ化に対して不変になるため、同定可能性の問題が解決される。
• 正規化定数の問題を回避するため、リーマン幾何学を尊重するSDEベースのアプローチにより、効果的なサンプリングが実現された。
• 定性的な結果から、R-VAEのランダムウォークは潜在多様体の境界付近で速度を落とし、停止する傾向にあることが示され、データサポート上への有効な集中が確認された。