[论文解读] DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data

Tiantian Fang, Ruoyu Sun+1 more|arXiv (Cornell University)|Nov 27, 2022

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

DigGAN 为 GAN 引入了一种基于梯度的正则化方法，通过最小化判别器输出关于真实图像与生成图像的梯度范数差异，实现稳定训练。通过减小判别器梯度差距（DIG），该方法在数据有限的情况下显著提升了 FID 分数——例如，在仅使用 10% 数据的情况下，将 BigGAN 在 CIFAR-100 上的 FID 从 73.01 降低至 27.61。

ABSTRACT

Generative adversarial nets (GANs) have been remarkably successful at learning to sample from distributions specified by a given dataset, particularly if the given dataset is reasonably large compared to its dimensionality. However, given limited data, classical GANs have struggled, and strategies like output-regularization, data-augmentation, use of pre-trained models and pruning have been shown to lead to improvements. Notably, the applicability of these strategies is 1) often constrained to particular settings, e.g., availability of a pretrained GAN; or 2) increases training time, e.g., when using pruning. In contrast, we propose a Discriminator gradIent Gap regularized GAN (DigGAN) formulation which can be added to any existing GAN. DigGAN augments existing GANs by encouraging to narrow the gap between the norm of the gradient of a discriminator's prediction w.r.t.\ real images and w.r.t.\ the generated samples. We observe this formulation to avoid bad attractors within the GAN loss landscape, and we find DigGAN to significantly improve the results of GAN training when limited data is available. Code is available at \url{https://github.com/AilsaF/DigGAN}.

研究动机与目标

• 解决 GAN 在数据有限情况下训练时的不稳定性和性能下降问题。
• 降低 GAN 损失曲面中不良吸引子的影响。
• 开发一种轻量级、即插即用的正则化方法，增强现有 GAN 模型，无需预训练或数据增强。
• 在数据稀缺条件下提升生成样本的泛化能力与多样性。
• 提供一种理论基础坚实且实际有效的正则化方法，且与 GAN 架构无关。

提出的方法

• 提出一种新的正则化项，通过最小化判别器对真实图像与生成图像的梯度 L2 范数之差的绝对值来实现。
• 将判别器梯度差距（DIG）定义为 |‖∇ₓD(x_real)‖₂ − ‖∇ₓD(x_fake)‖₂|，并在训练过程中最小化该值。
• 将正则化作为惩罚项引入 GAN 损失函数，其中超参数 λ 控制其强度。
• 采用真实样本与生成样本的随机配对方式计算梯度，除非进行消融实验，否则不使用类别相关或梯度幅值相关的配对策略。
• 可无缝集成至 BigGAN、SNGAN 和 StyleGAN2 等现有 GAN 框架中，无需修改网络结构。
• 采用指数移动平均（EMA）以稳定训练动态并提升泛化性能。

实验结果

研究问题

• RQ1 减小真实数据与生成数据之间梯度范数的差距，是否能提升 GAN 在数据有限情况下的训练稳定性？
• RQ2 所提出的 DIG 正则化是否能缓解 GAN 优化曲面中不良吸引子的影响？
• RQ3 在低数据环境下，DigGAN 与现有的基于梯度的正则化方法（如 R1、GP-1 和 DRAGAN）相比表现如何？
• RQ4 配对策略（随机配对 vs. 类别相关配对 vs. 梯度幅值配对）是否显著影响 DigGAN 的性能？
• RQ5 在数据稀缺条件下，DigGAN 是否能在多种架构和数据集上持续提升 FID 分数？

主要发现

• 在仅使用 10% CIFAR-100 数据的情况下，DigGAN 将 FID 从基线的 73.01 降低至 27.61，改善幅度达 62.3%。
• 在仅使用 10% CIFAR-10 数据的情况下，DigGAN 将 FID 从基线的 23.75 降低至 10.12，降幅达 58.6%。
• 在所有设置下，DigGAN 在 FID 指标上均优于 R1、GP-1 和 DRAGAN，尤其在低数据条件下优势显著。
• 消融实验表明，随机配对策略表现最佳，而基于梯度幅值的配对策略在 10% 数据条件下失效。
• 该正则化方法在多种架构上均具鲁棒性：在数据有限条件下，其显著改善了 BigGAN 和 StyleGAN2 的 FID 分数。
• 梯度范数差距（DIG）与数据量成反比，而 DigGAN 有效减小了该差距，且与训练稳定性的提升密切相关。