[论文解读] Generative Latent Flow: A Framework for Non-adversarial Image Generation.

Zhisheng Xiao, Qing Yan+2 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 11

一句话总结

生成潜在流（GLF）提出了一种非对抗性生成模型，通过将自编码器与归一化流相结合，显式地将潜在分布映射到简单的噪声分布，在自编码器基模型中实现了最先进水平的生成样本质量，并在性能上与生成对抗网络（GANs）相当，同时实现了快速的单阶段训练和最小的重建损失折衷。

ABSTRACT

In this work, we propose the Generative Latent Flow (GLF), an algorithm for generative modeling of the data distribution. GLF uses an Auto-encoder (AE) to learn latent representations of the data, and a normalizing flow to map the distribution of the latent variables to that of simple i.i.d noise. In contrast to some other Auto-encoder based generative models, which use various regularizers that encourage the encoded latent distribution to match the prior distribution, our model explicitly constructs a mapping between these two distributions, leading to better density matching while avoiding over regularizing the latent variables. We compare our model with several related techniques, and show that it has many relative advantages including fast convergence, single stage training and minimal reconstruction trade-off. We also study the relationship between our model and its stochastic counterpart, and show that our model can be viewed as a vanishing noise limit of VAEs with flow prior. Quantitatively, under standardized evaluations, our method achieves state-of-the-art sample quality among AE based models on commonly used datasets, and is competitive with GANs' benchmarks.

研究动机与目标

• 开发一种非对抗性生成模型，以改进自编码器基生成建模中的密度匹配。
• 通过显式建模潜在分布与先验分布之间的映射，消除对启发式正则化项的依赖。
• 实现在不牺牲重建质量的前提下快速收敛与单阶段训练。
• 建立所提模型与具有流先验的变分自编码器之间的理论联系。

提出的方法

• 该模型使用自编码器从输入数据中学习紧凑的潜在表征。
• 应用归一化流将学习到的潜在分布转换为简单且可处理的先验分布（例如，各向同性高斯分布）。
• 流架构支持精确的似然计算与可逆映射，确保精确的密度匹配。
• 训练目标最小化重建损失，并在流正则化的潜在分布下最大化似然。
• 模型在单阶段中进行训练，避免了对抗性或正则化变分自编码器中常见的迭代优化方案。
• 理论分析表明，GLF 对应于具有流先验的变分自编码器在噪声趋于零极限下的情形，从而与现有变分框架建立了原理性联系。

实验结果

研究问题

• RQ1 通过归一化流实现显式密度匹配是否能在不依赖启发式正则化项的前提下，提升自编码器基生成模型的样本质量？
• RQ2 与现有自编码器基和 GAN 基方法相比，所提模型在训练速度、收敛性及重建质量方面表现如何？
• RQ3 GLF 与具有流先验的变分自编码器之间存在何种理论关系，特别是在噪声趋于零的极限下？
• RQ4 由于 GLF 中不存在对抗性训练，是否能实现稳定且高质量的生成，且不会出现模式崩溃？

主要发现

• 在标准基准数据集上，GLF 在自编码器基生成模型中实现了最先进水平的样本质量。
• 该模型表现出快速收敛与单阶段训练，避免了 GAN 中常见的训练不稳定性。
• GLF 展现出极小的重建损失折衷，在保持高保真度重建的同时生成逼真的样本。
• 定量评估表明，尽管未使用对抗性训练，GLF 在样本质量方面与 GAN 基准性能相当。
• 理论分析确认，GLF 对应于具有流先验的变分自编码器在噪声趋于零极限下的情形，为与现有变分框架的联系提供了理论依据。
• 通过归一化流实现显式密度匹配，相比正则化变分自编码器，能获得更优的似然估计与更精确的数据分布建模。