[论文解读] CcGAN: Continuous Conditional Generative Adversarial Networks for Image Generation

Xin Ding, Yongwei Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 18

一句话总结

本文提出 CcGAN，一种新颖的条件生成对抗网络框架，用于基于连续回归标签的图像生成，解决了两个关键挑战：由于标签稀疏导致的训练不稳定，以及标签编码低效的问题。该工作提出了重构的判别器和生成器损失函数（HVDL/SVDL），并引入了新型标签输入方法（NLI/ILI），在 RC-49 和 Cell-200 等基准数据集上，其生成图像的质量和多样性均优于标准 cGAN。

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (e.g., class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems: (P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (a.k.a. empirical cGAN losses) often fails in practice; (P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Frechet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN can generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

研究动机与目标

• 解决缺乏针对连续标量回归标签进行图像合成的生成模型的问题。
• 缓解在稀疏或零样本回归标签条件下，现有 cGAN 训练过程中的不稳定性。
• 设计适用于连续条件的有效标签输入机制，因为传统独热编码方法不适用。
• 建立连续条件图像生成的新基准，包括数据集与评估指标。

提出的方法

• 通过引入硬邻域判别器损失（HVDL）与软邻域判别器损失（SVDL），对连续条件下的经验 cGAN 损失进行重构，其理论基础为邻域风险最小化。
• 提出一种新型经验生成器损失，使生成图像在连续条件下的分布与真实数据分布对齐。
• 引入朴素标签输入（NLI）与改进标签输入（ILI）方法，将回归标签嵌入生成器与判别器网络中。
• 在弱假设条件下，推导出使用 HVDL 和 SVDL 训练的判别器的理论误差界，确保泛化稳定性。
• 设计两个新基准数据集——RC-49（回归条件化）与 Cell-200（细胞成像），用于评估连续条件生成性能。
• 提出一种新评估指标——滑动弗雷歇 inception 距离（SFID），用于衡量连续标签值下图像的质量与多样性。

实验结果

研究问题

• RQ1 当回归标签为连续标量且出现稀疏或零样本情况时，能否有效训练条件生成对抗网络？
• RQ2 如何将回归标签有效嵌入生成器与判别器架构中，以实现有意义的条件生成？
• RQ3 所提出的重构损失函数（HVDL 与 SVDL）是否在连续设置下相比标准 cGAN 损失，展现出更优的泛化能力与训练稳定性？
• RQ4 所提出的评估指标——滑动弗雷歇 inception 距离（SFID）是否能可靠地衡量连续标签空间中图像质量与多样性的趋势？
• RQ5 在连续条件图像生成任务中，CcGAN 相较于标准 cGAN 在视觉质量与定量性能方面表现如何？

主要发现

• 与标准 cGAN 相比，CcGAN 在 RC-49、UTKFace、Cell-200 和 Steering Angle 等多个数据集上，均实现了更优的图像视觉质量与多样性。
• 所提出的 HVDL 与 SVDL 损失函数可实现理论上有界的泛化误差，为连续条件 GAN 提供了稳定的训练机制。
• 相较于朴素标签输入（NLI）基线，改进标签输入（ILI）方法显著提升了特征学习能力与生成图像的真实性。
• 滑动弗雷歇 inception 距离（SFID）指标能有效捕捉连续标签值下图像质量与多样性的趋势，支持可靠的模型比较。
• 在 RC-49 与 Cell-200 基准测试中，CcGAN 在定性与定量指标上均显著优于标准 cGAN。
• 该框架成功生成了基于连续标签（如年龄、姿态、细胞形态）的逼真图像，即使特定标签的训练数据稀疏或缺失，亦能有效生成。