[论文解读] Continuous Conditional Generative Adversarial Networks: Novel Empirical Losses and Label Input Mechanisms

Xin Ding, Yongwei Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 8

一句话总结

本文提出连续条件生成对抗网络（CcGAN），这是首个针对连续标量回归标签的图像生成 GAN 框架。它解决了两个关键挑战：(P1) 由于连续空间中标签稀疏或缺失导致的训练不稳定，以及 (P2) 标准 one-hot 或基于嵌入的标签注入方法在无限多连续标签下的不适用性。该方法提出了新型经验损失——硬邻域判别器损失（Hard Vicinal Discriminator Loss）与软邻域判别器损失（Soft Vicinal Discriminator Loss）——并引入两种标签输入机制（NLI 与 ILI），实现了高保真度、多样性与标签一致性兼备的图像合成，在 RC-49、UTKFace 和 Steering Angle 等基准数据集上，其性能在视觉效果与定量指标上均优于标准 cGAN。

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Fréchet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

研究动机与目标

• 解决图像数据在连续标量回归标签条件下缺乏有效生成建模的问题。
• 解决 (P1) 问题：由于连续标签空间中标签稀疏或缺失，导致经验风险最小化过程不稳定。
• 解决 (P2) 问题：标准 one-hot 或基于嵌入的标签输入方法无法适配无限多的连续标签。
• 开发一种新型训练框架，确保条件图像生成中标签一致性、图像多样性与高视觉质量。
• 建立连续条件 GAN 的新基准与评估指标，包括滑动 FID（Sliding FID）与两个新数据集（RC-49、Cell-200）。

提出的方法

• 基于邻域风险最小化，重新表述连续条件下的 cGAN 经验损失，提出两种新型判别器损失：硬邻域判别器损失（HVDL）与软邻域判别器损失（SVDL）。
• 提出一种朴素标签输入（NLI）机制，将回归标签直接拼接至特征图；并提出一种改进标签输入（ILI）机制，利用可学习嵌入层以获得更优的标签表示。
• 从重新表述的判别器目标中推导出一种新型经验生成器损失，以稳定训练并提升样本质量。
• 采用改进的训练调度策略，即每轮生成器更新前进行多次判别器更新，并结合使用 DiffAugment 与强数据增强，以缓解模式崩溃问题。
• 以 SAGAN 作为骨干网络，基线 cGAN 使用 hinge 损失，而 CcGAN 则采用所提出的损失函数与标签机制。
• 在弱假设下，推导出使用 HVDL 与 SVDL 训练的判别器的理论误差界，为所提训练目标的泛化稳定性提供理论支持。

实验结果

研究问题

• RQ1 当条件标签为连续标量而非类别标签时，能否有效训练条件 GAN？
• RQ2 当某些回归标签的训练样本极少或没有时，如何重构经验损失以确保训练稳定？
• RQ3 何种标签输入机制可实现对连续标量值的有效条件控制，而无需依赖 one-hot 编码或有限类别的离散化？
• RQ4 所提出的 CcGAN 是否能在具有不同标签分布的多个数据集上生成多样化、高质量且标签一致的图像？
• RQ5 在视觉质量、类内多样性与标签一致性方面，CcGAN 相较于标准 cGAN 的性能表现如何？

主要发现

• CcGAN（SVDL+ILI）在所有测试数据集（包括 RC-49、UTKFace 与 Steering Angle）上均能生成视觉逼真、多样化且标签一致的图像，即使在高分辨率下亦表现优异。
• cGAN（K 类）由于模式崩溃与类内多样性低，无法生成多样化或高质量图像，尽管其标签一致性较高。
• cGAN（拼接）虽能生成多样化样本，但存在严重标签不一致性，生成的图像与输入回归标签不符。
• 滑动 Fréchet Inception Distance（SFID）指标能有效评估 CcGAN 性能，而传统类内 FID 因标签稀疏性而失效。
• HVDL 与 SVDL 的理论误差界在弱假设下得到推导，证明了所提训练目标的泛化稳定性，支持其鲁棒性。
• 大量消融实验表明，SVDL 与 ILI 的组合性能最佳，验证了损失函数与标签输入机制的协同有效性。