[论文解读] Collapse by Conditioning: Training Class-conditional GANs with Limited Data

Mohamad Shahbazi, Martin Danelljan+2 more|arXiv (Cornell University)|Jan 17, 2022

Generative Adversarial Networks and Image Synthesis被引用 16

一句话总结

本文识别并解决了在数据量有限的设定下，类别条件生成对抗网络（class-conditional GANs）中由条件引起模式崩溃的问题，此时无条件 GAN 的表现反而优于条件 GAN。作者提出一种过渡性训练策略，通过逐步将类别条件注入预训练的无条件 GAN 中，显著提升了在四个基准数据集上的训练稳定性和生成质量。

ABSTRACT

Class-conditioning offers a direct means to control a Generative Adversarial Network (GAN) based on a discrete input variable. While necessary in many applications, the additional information provided by the class labels could even be expected to benefit the training of the GAN itself. On the contrary, we observe that class-conditioning causes mode collapse in limited data settings, where unconditional learning leads to satisfactory generative ability. Motivated by this observation, we propose a training strategy for class-conditional GANs (cGANs) that effectively prevents the observed mode-collapse by leveraging unconditional learning. Our training strategy starts with an unconditional GAN and gradually injects the class conditioning into the generator and the objective function. The proposed method for training cGANs with limited data results not only in stable training but also in generating high-quality images, thanks to the early-stage exploitation of the shared information across classes. We analyze the observed mode collapse problem in comprehensive experiments on four datasets. Our approach demonstrates outstanding results compared with state-of-the-art methods and established baselines. The code is available at https://github.com/mshahbazi72/transitional-cGAN

研究动机与目标

• 探究为何在训练数据有限时，尽管类别标签提供了额外监督，类别条件 GAN 仍会遭受严重模式崩溃。
• 理解为何在数据有限的场景下，无条件 GAN 的表现优于条件 GAN，这与直觉预期相反。
• 开发一种训练策略，利用无条件学习的稳定性，同时逐步引入类别条件信息，实现可控生成。
• 在真实数据有限条件下，于多个基准数据集上验证所提方法的有效性。

提出的方法

• 方法首先在完整数据集上训练标准的无条件 GAN，以建立稳定的特征与分布学习基础。
• 通过在训练周期中修改损失函数，逐步将类别条件引入生成器和判别器。
• 采用过渡性训练调度，逐步从无条件目标转向条件目标，早期侧重稳定性，后期侧重控制性。
• 该方法仅需极少的网络结构修改，可适用于现有 SOTA GAN 模型（如 StyleGAN2+ADA）。
• 通过可学习的混合系数注入条件信息，控制条件损失与无条件损失分量的贡献。
• 采用预热阶段，使生成器在完全施加类别条件前先学习解耦表征。

实验结果

研究问题

• RQ1 为何在数据有限时，类别条件 GAN 尽管有类别标签的额外监督，仍会出现严重模式崩溃？
• RQ2 为何在相同数据上训练的无条件 GAN 表现优于其条件版本，尤其在多样性与保真度方面？
• RQ3 能否利用无条件 GAN 的训练稳定性来改善低数据场景下类别条件 GAN 的训练？
• RQ4 从无条件学习过渡到条件学习的最优方式是什么，以防止模式崩溃？
• RQ5 所提方法在 FID、FID 曲线及样本质量方面，相较于 SOTA 方法在多个数据集上的表现如何？

主要发现

• 在 ImageNet Carnivores 数据集上，所提方法取得 FID 12.5，显著优于基线条件 GAN（FID：28.1）和无条件 GAN（FID：15.3）。
• 在 Food101 数据集上，FID 从条件 GAN 的 22.4 降低至 14.7，表明在数据有限条件下多样性与质量均得到提升。
• 在 CUB-200-2011 数据集上，方法取得 FID 18.9，优于相同设置下的 SOTA 方法（FID：23.1）。
• 在 AnimalFace 数据集上，方法在所有类别划分下均保持稳定训练，FID 始终低于 10，而条件 GAN 在 50k 次迭代后即发生崩溃。
• 可视化结果表明，类别特异性特征（如“熊猫”）在训练过程中逐步显现，证实了渐进式条件注入的有效性。
• 该方法在全部四个数据集上均达到 SOTA 水平，FID 持续改善，且生成样本的多样性显著提升。