[论文解读] Learning the Base Distribution in Implicit Generative Models

Y. Cem Sübakan, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Mar 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 10

一句话总结

本文提出一种两阶段隐式生成建模方法，通过在潜在空间中学习复杂的基分布，改进了变分自编码器（VAEs）和生成对抗网络（GANs），在不进行对抗训练的前提下最大化最大似然。该方法将基分布学习与神经网络编码器解耦，从而更准确地建模图像和序列音频等复杂数据分布，在MNIST、CELEBA、语音和音乐数据集上均取得实证性能提升。

ABSTRACT

Popular generative model learning methods such as Generative Adversarial Networks (GANs), and Variational Autoencoders (VAE) enforce the latent representation to follow simple distributions such as isotropic Gaussian. In this paper, we argue that learning a complicated distribution over the latent space of an auto-encoder enables more accurate modeling of complicated data distributions. Based on this observation, we propose a two stage optimization procedure which maximizes an approximate implicit density model. We experimentally verify that our method outperforms GANs and VAEs on two image datasets (MNIST, CELEB-A). We also show that our approach is amenable to learning generative model for sequential data, by learning to generate speech and music.

研究动机与目标

• 解决VAEs和GANs中简单先验（如各向同性高斯分布）的局限性，后者限制了对复杂数据的建模能力。
• 通过避免对抗训练和判别器网络，克服GANs中常见的模式崩溃和训练不稳定性问题。
• 为隐式生成模型开发一种合理的最大似然方法，避免难以计算的似然值。
• 通过可学习的、复杂的基分布，实现对高维、多模态数据（如图像和序列音频）的有效建模。
• 将基分布学习与编码器网络解耦，相比端到端的GANs或VAEs，简化训练过程并提升稳定性。

提出的方法

• 提出两阶段优化流程：首先使用密度模型在潜在空间中训练基分布，然后训练自编码器将数据映射到该学习到的基分布。
• 使用隐式密度模型近似潜在空间中的基分布，从而捕捉复杂、非高斯的结构。
• 通过蒙特卡洛近似最大化模型下数据的对数似然，确保方法遵循最大似然原则。
• 将基分布训练与神经网络编码器解耦，使基分布可独立进行稳定优化。
• 采用变分推理框架，其中编码器将数据映射到潜在空间，解码器则从学习到的基分布中重建数据。
• 对序列数据使用带有对角协方差的高斯隐马尔可夫模型（HMMs）来建模学习到的基分布，从而实现从潜在序列生成语音和音乐。

实验结果

研究问题

• RQ1 在潜在空间中学习复杂基分布是否能相比各向同性高斯等简单先验，提升生成样本的质量？
• RQ2 将基分布学习与编码器网络解耦，是否能带来比端到端GANs或VAEs更稳定、更高效的训练？
• RQ3 所提出的方法能否在不发生模式崩溃的情况下，为图像和序列数据（如语音和音乐）生成高保真度样本？
• RQ4 在样本质量、训练稳定性和超参数敏感性方面，该方法与GANs和VAEs相比表现如何？
• RQ5 通过灵活可学习的基分布，该方法在多模态和高维数据分布建模方面能达到何种程度？

主要发现

• 在MNIST和CELEBA数据集上，所提方法在样本质量和多样性方面均优于GANs和VAEs，经定性和定量评估验证。
• 该方法成功从波形域生成逼真的语音和音乐样本，证明其在具有结构复杂性的序列数据上的有效性。
• 模型生成的样本展现出一致的结构，且未出现模式崩溃，这得益于最大似然目标和无对抗训练机制，与GANs形成对比。
• 训练过程显著比GANs更稳定，对学习率和网络架构选择的敏感性更低。
• 使用复杂基分布（如通过HMMs学习）相比简单先验，能更优地建模多模态数据分布。
• 两阶段训练流程使模型能够学习更具表现力的潜在空间，从而提升重建和生成性能。