[论文解读] DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data

Swaminathan Gurumurthy, Ravi Kiran Sarvadevabhatla+1 more|ePrints-IISc. (Indian Institute of Science Bangalore)|Jun 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 13

一句话总结

DeLiGAN 提出了一种新颖的 GAN 架构，通过将潜在空间重参数化为可训练的高斯混合模型，以在低数据环境下提升生成结果的多样性与稳定性。通过在训练过程中联合学习混合成分的均值与方差，该方法在手写数字、物体图像和手绘草图等不同数据分布中，即使训练数据有限，也能生成多样且高质量的样本，其在多样性与样本质量方面均优于标准 GAN。

ABSTRACT

A class of recent approaches for generating images, called Generative Adversarial Networks (GAN), have been used to generate impressively realistic images of objects, bedrooms, handwritten digits and a variety of other image modalities. However, typical GAN-based approaches require large amounts of training data to capture the diversity across the image modality. In this paper, we propose DeLiGAN -- a novel GAN-based architecture for diverse and limited training data scenarios. In our approach, we reparameterize the latent generative space as a mixture model and learn the mixture model's parameters along with those of GAN. This seemingly simple modification to the GAN framework is surprisingly effective and results in models which enable diversity in generated samples although trained with limited data. In our work, we show that DeLiGAN can generate images of handwritten digits, objects and hand-drawn sketches, all using limited amounts of data. To quantitatively characterize intra-class diversity of generated samples, we also introduce a modified version of "inception-score", a measure which has been found to correlate well with human assessment of generated samples.

研究动机与目标

• 解决在训练数据有限时生成多样化、高质量图像的挑战。
• 提升在小样本数据集上训练的 GAN 的样本多样性，特别是在多模态数据分布中。
• 通过将潜在空间建模为混合模型，提升在低数据环境下的 GAN 训练稳定性。
• 开发一种用于衡量生成样本类内多样性的定量指标，扩展 inception-score 的应用范围。
• 在极少量数据条件下，实现对多样化模态（手写数字、真实物体图像和手绘草图）的有效生成。

提出的方法

• 将潜在空间重参数化为具有可学习均值与方差的高斯分量混合模型。
• 引入一种可微分的采样机制，用于选择特定分量并从其采样，从而支持端到端反向传播。
• 通过对抗损失，联合训练混合模型参数（均值、方差）、生成器与判别器。
• 采用改进的 inception-score，通过计算生成样本的类别条件熵来衡量类内多样性。
• 应用来自先前 GAN 研究的最小批量判别等训练稳定技术，以改善训练动态。
• 利用混合模型隐式建模潜在空间中的数据空洞，避免生成低质量或非代表性样本。

实验结果

研究问题

• RQ1 在训练数据有限时，潜在空间中可学习的混合模型是否能提升 GAN 生成样本的多样性？
• RQ2 DeLiGAN 在极少量训练数据下，对不同图像模态（如手写数字、物体图像、手绘草图）的多样化生成表现如何？
• RQ3 改进的 inception-score 是否能有效量化生成样本的类内多样性，尤其是在低数据设置下？
• RQ4 潜在空间中的混合模型是否有助于稳定训练并减少低数据环境下的模式崩溃？
• RQ5 在数据稀缺或高度多样化的情况下，DeLiGAN 与标准 GAN 相比，在样本质量和多样性方面表现如何？

主要发现

• 在仅使用 100 张训练图像的 MNIST 数据集上，DeLiGAN 显著提升了样本多样性，生成了更丰富的数字风格，优于基线 GAN。
• 在 CIFAR-10 数据集上使用 1000 张图像时，DeLiGAN 生成的物体图像更具真实感且更加多样化，模式崩溃现象显著减少。
• 对于手绘草图，DeLiGAN 在五个不同类别的数据上取得了 1.79 ± 0.18 的改进版 inception-score，优于基线 GAN 的 1.61 ± 0.13。
• 即使在低数据设置下，模型也极少生成非数字风格或低质量样本，仅出现极少数无效输出。
• 潜在空间中学习到的混合分量自然避开了低概率空洞，从而生成了更连贯、更真实的样本。
• 改进的 inception-score 与人类评估结果高度相关，能有效捕捉类内多样性，尤其在低数据场景下表现优异。