[论文解读] Continuous Conditional Generative Adversarial Networks for Image Generation: Novel Losses and Label Input Mechanisms

Xin Ding, Yongwei Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出连续条件生成对抗网络（CcGAN），一种新型生成模型，通过重新设计适用于连续条件的生成对抗网络损失函数，并提出新型标签输入机制（NLI 与 ILI），实现对年龄、转向角等连续回归标签的图像生成。在 RC-49、Cell-200 和 UTKFace 等基准数据集上，CcGAN 在图像质量与多样性方面均优于标准条件生成对抗网络（cGAN），同时具备更优的训练稳定性和性能表现。

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Frechet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

研究动机与目标

• 为解决现有生成对抗网络在连续标量回归标签条件下的生成效果不佳的问题。
• 解决问题 (P1)：由于特定回归标签下真实图像稀疏或为零，导致经验性 cGAN 损失失效。
• 解决问题 (P2)：传统标签输入方法无法适用于无限且连续的标量标签。
• 提出一种新型训练框架，实现在连续条件下的稳定且高质量图像生成。

提出的方法

• 针对连续条件重新设计经验性 cGAN 损失，提出两种新型判别器损失：硬邻域判别器损失（HVDL）与软邻域判别器损失（SVDL）。
• 提出一种专为连续条件生成设计的经验性生成器损失。
• 引入朴素标签输入（NLI）与改进标签输入（ILI）方法，将回归标签嵌入生成器与判别器网络中。
• 在较弱假设下，推导出使用 HVDL 与 SVDL 训练的判别器的理论误差界。
• 构建两个新型基准数据集：RC-49（回归条件化）与 Cell-200（具有连续标签的细胞图像生成）。
• 提出一种新型评估指标——滑动弗雷歇 inception 距离（SFID），用于连续条件图像生成的评估。

实验结果

研究问题

• RQ1 能否设计一种 GAN 框架，实现对连续回归标签而非仅类别标签的有效图像生成？
• RQ2 如何重新设计经验性 cGAN 损失，使其在连续、稀疏或零样本的回归标签条件下仍保持稳定与高效？
• RQ3 如何设计有效的标签输入机制，将连续标量标签有效集成到生成器与判别器架构中？
• RQ4 在连续条件设置下，所提出的 CcGAN 与标准 cGAN 相比，在图像质量与多样性方面表现如何？
• RQ5 像滑动弗雷歇 inception 距离（SFID）这样的新型评估指标，是否能更准确地捕捉连续条件图像生成的质量？

主要发现

• CcGAN 在 RC-49、Cell-200、UTKFace 以及转向角数据集等多个数据集上，均能生成多样化且高质量的连续回归标签条件图像。
• 所提出的 HVDL 与 SVDL 判别器损失在较弱假设下具备理论误差界，确保了在连续设定下的训练稳定性。
• 改进的标签输入（ILI）方法相较于朴素标签输入（NLI）方法，显著提升了生成器与判别器的性能。
• 在所有评估基准上，CcGAN 在视觉效果与定量指标上均优于标准 cGAN，展现出更优的样本质量与多样性。
• 新型评估指标滑动弗雷歇 inception 距离（SFID）能有效捕捉连续条件图像生成的性能差异，且与人类评估结果高度相关。