[论文解读] GDPP: Learning Diverse Generations Using Determinantal Point Process

Mohamed Elfeki, Camille Couprie+2 more|arXiv (Cornell University)|Nov 30, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 8

一句话总结

本文提出GDPP，一种基于行列式点过程（DPP）的新颖无监督损失函数，通过鼓励生成样本的多样性来缓解生成模型中的模式崩溃问题。通过匹配从真实数据和生成数据批次中计算的DPP核的特征结构，GDPP在不增加可学习参数的情况下提升了生成质量和训练收敛稳定性，在CIFAR-10、MNIST和CelebA数据集上训练速度比其最接近的竞争对手快5.8倍。

ABSTRACT

Generative models have proven to be an outstanding tool for representing high-dimensional probability distributions and generating realistic-looking images. An essential characteristic of generative models is their ability to produce multi-modal outputs. However, while training, they are often susceptible to mode collapse, that is models are limited in mapping input noise to only a few modes of the true data distribution. In this work, we draw inspiration from Determinantal Point Process (DPP) to propose an unsupervised penalty loss that alleviates mode collapse while producing higher quality samples. DPP is an elegant probabilistic measure used to model negative correlations within a subset and hence quantify its diversity. We use DPP kernel to model the diversity in real data as well as in synthetic data. Then, we devise an objective term that encourages generators to synthesize data with similar diversity to real data. In contrast to previous state-of-the-art generative models that tend to use additional trainable parameters or complex training paradigms, our method does not change the original training scheme. Embedded in an adversarial training and variational autoencoder, our Generative DPP approach shows a consistent resistance to mode-collapse on a wide variety of synthetic data and natural image datasets including MNIST, CIFAR10, and CelebA, while outperforming state-of-the-art methods for data-efficiency, generation quality, and convergence-time whereas being 5.8x faster than its closest competitor.

研究动机与目标

• 解决生成模型中的模式崩溃问题，这是生成器仅生成数据有限变体的常见故障模式。
• 开发一种训练目标，明确鼓励生成样本的多样性，同时不修改原始模型架构。
• 设计一种无监督损失函数，无需额外可学习组件或复杂训练方案。
• 在包括合成数据和真实世界图像基准在内的多种数据集上，提升训练稳定性、生成质量和数据效率。
• 确保该方法与模型无关，并与多种生成框架（如GAN和VAE）兼容。

提出的方法

• 使用从预训练判别器或编码器提取的深度特征定义DPP核，以表征数据批次的多样性。
• 计算真实数据批次和生成数据批次的DPP核的特征值和特征向量。
• 制定一种惩罚损失，以最小化真实数据DPP核与生成数据DPP核之间特征值和特征向量的差异。
• 将此基于DPP的多样性损失作为额外项集成到标准对抗训练或VAE训练目标中。
• 通过生成器反向传播DPP损失，以促使生成器产生与真实数据具有相似多样性模式的样本。
• 保持基础模型（如DCGAN、VAE）的原始训练范式，不引入额外可学习参数或改变优化动力学。

实验结果

研究问题

• RQ1 基于DPP的多样性度量能否有效用于正则化生成模型并减少模式崩溃？
• RQ2 在不同数据集上，所提出的GDPP损失与现有方法相比，在生成质量和训练稳定性方面表现如何？
• RQ3 GDPP损失是否能在不增加可学习组件的前提下提升数据效率和收敛速度？
• RQ4 GDPP损失是否能跨不同架构（包括GAN和VAE）通用，且无需架构修改？
• RQ5 在真实数据与生成数据之间匹配DPP核的特征结构，在多大程度上能提升模式覆盖度和样本多样性？

主要发现

• 在64×64分辨率的CelebA数据集上，GDPP-GAN的切片Wasserstein距离（SWD）平均值为0.0163，最小值为0.0075，优于WGAN-GP（平均值0.0186）和DCGAN（平均值0.0906）。
• 在CIFAR-10上，将GDPP加入DCGAN可稳定训练，并在训练初期即实现高质量生成，表现为Inception Score持续上升。
• GDPP-GAN降低了模式崩溃的严重程度，表现为真实图像与其最近邻生成样本之间的重建误差（MSE）低于基线模型。
• 该方法在保持或提升生成质量与模式覆盖度的同时，训练速度比其最接近的竞争对手快5.8倍。
• GDPP在MNIST、CIFAR-10和CelebA上均持续提升性能，展现出在合成数据与真实世界数据集上的强大鲁棒性。
• GDPP损失在对抗训练和VAE框架中均有效，显示出在不同生成模型架构间的强大泛化能力。