[論文レビュー] Variational Autoencoder with Learned Latent Structure

Marissa Connor, Gregory Canal+1 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 4

ひとこと要約

この論文では、従来のVAEの固定事前分布に代わる輸送作用素を用いて、データ駆動型の潜在多様体構造を学習するVAELLSを提案する。非線形データ多様体を学習可能な動的行列とアンカーベースの事前分布でモデル化することで、VAELLSはより正確な生成、意味のある補間経路、およびクラス固有の変換を可能にし、MNISTおよび回転MNISTベンチマークにおいて標準VAEを上回る性能を発揮する。

ABSTRACT

The manifold hypothesis states that high-dimensional data can be modeled as lying on or near a low-dimensional, nonlinear manifold. Variational Autoencoders (VAEs) approximate this manifold by learning mappings from low-dimensional latent vectors to high-dimensional data while encouraging a global structure in the latent space through the use of a specified prior distribution. When this prior does not match the structure of the true data manifold, it can lead to a less accurate model of the data. To resolve this mismatch, we introduce the Variational Autoencoder with Learned Latent Structure (VAELLS) which incorporates a learnable manifold model into the latent space of a VAE. This enables us to learn the nonlinear manifold structure from the data and use that structure to define a prior in the latent space. The integration of a latent manifold model not only ensures that our prior is well-matched to the data, but also allows us to define generative transformation paths in the latent space and describe class manifolds with transformations stemming from examples of each class. We validate our model on examples with known latent structure and also demonstrate its capabilities on a real-world dataset.

研究の動機と目的

• 従来のVAEにおける固定事前分布と複雑で非線形なデータ多様体との不一致を解消すること。
• 自然なデータ変動を反映する、意味のある非線形変換経路を潜在空間で実現すること。
• クラス例から導かれる変換を用いてクラス固有の多様体をモデル化すること。
• 輸送作用素を介してデータ適応型事前分布を学習することで、生成品質と分離性を向上させること。
• 潜在空間における解釈可能でアイデンティティを保持する変換のフレームワークを提供すること。

提案手法

• 学習可能な基底行列 $\Psi_m$ の重み付き和によって定義される輸送作用素を用いた学習可能な多様体モデルを導入する。
• 線形力学系 $\dot{z} = Az$ を用いて潜在多様体上での滑らかな経路を定義し、解を $z_t = \mathrm{expm}(At)z_0$ と表す。
• 生成モデルを $z_1 = \mathrm{expm}(A)z_0 + n$ として定義し、学習された $A$ 行列を用いて補間および外挿を可能にする。
• 各クラスごとにアンカーポイントを設け、最も近いアンカーポイントに基づいて局所的事前分布を定義する。
• エンコーダーとデコーダーと同時に $\Psi_m$ 行列と係数 $c_m$ を学習することで、輸送作用素モデルをVAEフレームワークに統合する。
• ネットワーク、アンカーポイント、$\Psi$ 行列の各パラメータに別々の学習率を設定した段階的最適化を採用し、ウォームアップと係数推定のリスタートを含む。

実験結果

リサーチクエスチョン

• RQ1 学習可能な潜在多様体モデルは、固定事前分布を用いる標準VAEと比較して、生成性能を向上させることができるか？
• RQ2 輸送作用素は潜在空間におけるより現実的な補間および外挿経路を可能にするか？
• RQ3 クラス固有の変換は、例データから効果的にモデル化および学習可能か？
• RQ4 アンカーベースの輸送作用素を用いてデータ適応型事前分布を学習することで、分離性とサンプル品質が向上するか？
• RQ5 回転MNISTのように既知の幾何的構造を持つデータセットにおいて、VAELLSはどのように性能を発揮するか？

主な発見

• VAELLSは、回転MNISTおよび自然なMNISTデータセットの両方で、標準VAEと比較してより優れたサンプル品質と再構成精度を達成した。
• VAELLSの潜在空間サンプリングにより、回転やスタイル変化などの現実的な画像変化が生成され、復元出力で確認された。
• MNISTでは8つの明確に解釈可能な数字変換に対応する学習済み輸送作用素が学習された。例として、線画の太さ増加や曲率の変化が含まれる。
• 正または負の係数を用いた学習済み輸送作用素の適用により、意味のある外挿が得られ、図17および18に可視化された。
• 潜在空間ではクラス分離性が向上し、アイデンティティ保持経路が強化され、補間中の不必要なクラス遷移が減少した。
• トレーニング中にアンカーポイントが安定したため、局所的事前分布モデルの頑健性が示された。