[論文レビュー] Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks

Lars Mescheder, Sebastian Nowozin+1 more|arXiv (Cornell University)|Jan 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 264

ひとこと要約

AVBは補助識別器を導入することにより、任意に表現力の高い推論モデルを持つVAEの訓練を可能にし、非パラメトリック極限における理論的保証とともにVAEとGANを統合します。

ABSTRACT

Variational Autoencoders (VAEs) are expressive latent variable models that can be used to learn complex probability distributions from training data. However, the quality of the resulting model crucially relies on the expressiveness of the inference model. We introduce Adversarial Variational Bayes (AVB), a technique for training Variational Autoencoders with arbitrarily expressive inference models. We achieve this by introducing an auxiliary discriminative network that allows to rephrase the maximum-likelihood-problem as a two-player game, hence establishing a principled connection between VAEs and Generative Adversarial Networks (GANs). We show that in the nonparametric limit our method yields an exact maximum-likelihood assignment for the parameters of the generative model, as well as the exact posterior distribution over the latent variables given an observation. Contrary to competing approaches which combine VAEs with GANs, our approach has a clear theoretical justification, retains most advantages of standard Variational Autoencoders and is easy to implement.

研究の動機と目的

• Adversarial training を用いて Variational Autoencoders に任意に表現力のある推論モデルを実現する。
• AVB が非パラメトリック極限で真の事後分布と最大尤度パラメータを回復するという理論的保証を提供する。
• AVB がよりリッチな事後近似と競争力がある、または最先端の生成モデリング結果をもたらすことを示す。

提案手法

• 付加的識別ネットワーク T(x, z) を導入し、log qφ(z|x) − log p(z) を近似する。
• エンコーダ/デコーダ (θ, φ) と識別器 T の間で、変分界を最大化する2プレイヤーゲームを定式化する。
• 再パラメータ化を用いて可能な場合に勾配を導出し、∇φ Eqφ(z|x)[∇φ T*(x, z)] 項が消えることを示す（命題2）。
• 確率的勾配更新を θ, φ, ψ（識別器）へ実行するアルゴリズム1（AVB）を提案する。
• Adaptive Contrast (AC) を導入し、prior p(z) の代わりに既知の密度 rα(z|x) と qφ(z|x) を対比させて訓練を安定化させる。
• ナッシュ均衡において T*(x,z) = log qφ*(z|x) − log p(z) であり、(θ*, φ*) が ELBO のグローバルオプティマとなるという理論結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 Can VAEs leverage arbitrarily expressive inference models trained with adversarial objectives while preserving max-likelihood objectives?
• RQ2 Under what conditions do AVB and its variants recover the true posterior and maximum-likelihood parameters?
• RQ3 How does AVB perform in variational inference and as a generative model compared to Gaussian-inference VAEs and GAN-based approaches?
• RQ4 Does Adaptive Contrast improve training stability and posterior quality in AVB?
• RQ5 Can AVB achieve state-of-the-art log-likelihoods on standard benchmarks like MNIST?

主な発見

指標1	指標2	指標3	指標4
VAE	-1.568	88.5e-3	-1.697 (ELBO approx) | KL ≈ 0.165
AVB	-1.403	5.77e-3	-1.421 | KL ≈ 0.026

• AVB enables black-box, highly expressive inference models for VAEs and improves posterior expressiveness.
• In the nonparametric limit, AVB recovers the true posterior and the true maximum-likelihood parameters for the generative model (θ*, φ*).
• AVB with Adaptive Contrast yields richer posterior distributions and often closer-to-ground-truth posteriors than Gaussian-inference VAEs, e.g., on synthetic and Eight Schools examples.
• On MNIST, AVB variants achieve competitive or state-of-the-art log-likelihood estimates compared to prior VAE approaches and other baselines when matched with appropriate decoder architectures.
• Experiment results show AVB produces sharper reconstructions and more accurate latent representations than standard VAEs with diagonal Gaussian posteriors.