[論文レビュー] VAE with a VampPrior

Jakub M. Tomczak, Max Welling|arXiv (Cornell University)|May 19, 2017

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 60

ひとこと要約

本論文は VampPrior を導入し、変分後方分布駆動の事前分布（学習可能な疑似入力に基づく後方分布の混合）と、二層階層VAEを提案し、事前分布と後方分布を共同で学習して潜在表現を改善し、非活性潜在ユニットを回避することにより、六つのデータセットで強力な結果を達成します。

ABSTRACT

Many different methods to train deep generative models have been introduced in the past. In this paper, we propose to extend the variational auto-encoder (VAE) framework with a new type of prior which we call "Variational Mixture of Posteriors" prior, or VampPrior for short. The VampPrior consists of a mixture distribution (e.g., a mixture of Gaussians) with components given by variational posteriors conditioned on learnable pseudo-inputs. We further extend this prior to a two layer hierarchical model and show that this architecture with a coupled prior and posterior, learns significantly better models. The model also avoids the usual local optima issues related to useless latent dimensions that plague VAEs. We provide empirical studies on six datasets, namely, static and binary MNIST, OMNIGLOT, Caltech 101 Silhouettes, Frey Faces and Histopathology patches, and show that applying the hierarchical VampPrior delivers state-of-the-art results on all datasets in the unsupervised permutation invariant setting and the best results or comparable to SOTA methods for the approach with convolutional networks.

研究の動機と目的

• 事前分布をより柔軟にし、変分後方とより良く整合させることで、VAEの動機付けと改善を図る。
• VampPrior: 学習可能な疑似入力に条件づけられた後方分布から形成される多モーダルな事前分布を導入する。
• 不活性な潜在変数を緩和し表現品質を高めるための二層階層VAEを提案する。
• 多様なデータセットとアーキテクチャにおいて標準正規分布の事前分布に対する経験的利得を示す。

提案手法

• VAEsのELBOを導出し、それを再構成項と正則化成分からなるものとして再解釈する。
• VampPriorを提案: p(z) = (1/K) sum_k q_phi(z|u_k)、ここで u_k はエンコーダ q_phi に結びついた学習可能な疑似入力である。
• 事前分布と後方分布を結合させ、共同最適化とより豊かな潜在構造を促進する。
• z1とz2を持つ二層VAEに拡張し、p(z1|z2)とp(z2)が VampPrior に従い、q_phi(z1|x,z2)、q_psi(z2|x) が近似後方を定義する。
• アブレーション研究のため、代替事前分布（SG、MoG、VampPrior data）を検討する。
• 6つの画像データセットで、MLPおよびCNNベースのエンコーダ/デコーダ（PixelCNNデコーダを含む）で評価する。

実験結果

リサーチクエスチョン

• RQ1 VampPrior は標準正規分布の事前分布と比較して潜在表現の品質と生成性能を改善しますか？
• RQ2 VampPrior を用いた二層階層VAE は不活性な確率的ユニットを緩和し、データセット全体で一層VAEsを上回りますか？
• RQ3 性能と学習ダイナミクスの観点で、VampPrior は混合ガウス priors とデータ固定の疑似入力とどう比較されますか？
• RQ4 VampPrior を用いた畳み込みアーキテクチャと自己回帰デコーダが、ベンチマーク画像データセットに与える影響はどのようなものですか？

主な発見

• VampPrior は複数のアーキテクチャとデータセットに渡って、標準正規分布の事前分布よりもテスト対数尤度を繰り返し改善する。
• 階層型 VampPrior VAE は static MNIST、dynamic MNIST、OMNIGLOT、Caltech 101 Silhouettes において最先端の結果を達成し、他のデータセットでは特に強力なデコーダで競争力のある結果を示す。
• VampPrior は活性化する確率的ユニットの数を増やし、特に第2層で活性化ユニットの問題を解決する。
• 学習された疑似入力は典型的な物体へと崩壊する傾向がある一方で、特徴の多様な変種を生成し、意味のある記憶化されていない表現を示す。
• MoGおよび SG priors と比較して、coupled posterior を用いた VampPrior はより優れた ELBO と生成品質をもたらす。ランダムな疑似入力（VampPrior data） は柔軟性が低い。
• VampPrior と畳み込みエンコーダ/デコーダおよび PixelCNN デコーダを用いると、テストデータセット上で非自己回帰および自己回帰VAEs の中で最高水準の結果のいくつかを得られる。