[論文レビュー] Distribution Matching in Variational Inference

Mihaela Rosca, Balaji Lakshminarayanan+1 more|arXiv (Cornell University)|Feb 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 50

ひとこと要約

本論文は、VAEが潜在空間と可視空間の限界分布を一致させることに失敗することを示し、密度比を用いてVAE-GANハイブリッドを分析し、現状のハイブリッドはスケーラビリティが限定的で、サンプル品質においてGANを上回らないと結論づけている。

ABSTRACT

With the increasingly widespread deployment of generative models, there is a mounting need for a deeper understanding of their behaviors and limitations. In this paper, we expose the limitations of Variational Autoencoders (VAEs), which consistently fail to learn marginal distributions in both latent and visible spaces. We show this to be a consequence of learning by matching conditional distributions, and the limitations of explicit model and posterior distributions. It is popular to consider Generative Adversarial Networks (GANs) as a means of overcoming these limitations, leading to hybrids of VAEs and GANs. We perform a large-scale evaluation of several VAE-GAN hybrids and analyze the implications of class probability estimation for learning distributions. While promising, we conclude that at present, VAE-GAN hybrids have limited applicability: they are harder to scale, evaluate, and use for inference compared to VAEs; and they do not improve over the generation quality of GANs.

研究の動機と目的

• VAEsはデータセットと潜在次元に跨る潜在空間および可視空間の限界分布に一致させることが難しいことを示す。
• VAEsにおける明示的分布と暗黙的分布が、分布一致と学習にどのように影響するかを分析する。
• 密度比の工夫を用いてVAE-GANハイブリッドを評価し、それが尤度推定とスケーラビリティに与える影響を評価する。
• 潜在空間における限界分布の一致が、学習された表現に及ぼす役割を調査する。
• 生成と推論の観点で、VAE-GANハイブリッドがVAEsおよびGANsより実用的な利点を提供するかを評価する。

提案手法

• ELBOを導出し、限界分布一致と条件付き分布一致との関係を検討する。
• ColorMNIST、CelebA、CIFAR-10を用いた実験で、さまざまな後方分布および可視分布の下での周辺KL: q(z)||p(z)を定量化する。
• adversarial autoencoders and AAEs を用いて、潜在空間で暗黙的後方分布と周辺分布一致を可能にするために密度比の工夫を適用する。
• 潜在および可視空間で限界分布の一致を実現するために、VGHおよびVGH++バリアントを導入・比較して、潜在および可視空間における限界分布の一致を実現する。
• ELBOの代わりにInception Score、多様性、Wassersteinクリティック指標でモデルを評価する。
• 密度比推定が尤度の境界とモデル評価にどのように影響するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 VAEsは、データセットおよび潜在次元数を横断して、潜在空間および可視空間の限界分布を一貫して一致させることができるか？
• RQ2 明示的な後方分布や明示的なモデルは、条件付き一致よりも周辺分布の一致を制限するのか？
• RQ3 VAE-GANハイブリッドは、VAEsおよびGANと比べてサンプル品質やスケーラビリティを改善するのか？
• RQ4 潜在空間における限界分布の一致は、学習された表現と推論能力に影響を与えるのか？
• RQ5 密度比の工夫は、VAE-GANハイブリッドの評価に対して信頼できる尤度境界を提供するのか？

主な発見

• VAEsは、データセットと潜在次元サイズの全体にわたり、周辺潜在後方分布q(z)を先行分布p(z)に一致させることに失敗する。
• 強力な明示的後方分布（例：RNVP）は、VAEsの周辺分布一致を改善しない。
• VAE-GANハイブリッドで密度比の工夫を用いるとKL境界が過小評価され、モデル評価に悪影響を及ぼす。
• 潜在空間の周辺分布一致は異なる潜在表現を生み出し、AAEsはVAEsよりも密度の高い表現を学習する。
• 可視空間の周辺分布一致は生成品質を改善できるが、サンプル品質指標では純粋なGANを上回らない。
• VAE-GANハイブリッドはスケーラビリティとハイパーパラメータ感度の課題に直面し、サンプル品質でGANを明確に上回るわけではない。