[论文解读] Differentiable Augmentation for Data-Efficient GAN Training

Shengyu Zhao, Zhijian Liu+3 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 100

一句话总结

DiffAugment 对真实与生成样本在 GAN 训练过程中应用可微分增广，以提升数据效率和收敛性，在不同架构和数据集上取得强结果。

ABSTRACT

The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128x128 and 2-4x reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.

研究动机与目标

• 在数据稀缺时提高 GAN 数据效率的动机。
• 在不扭曲目标数据分布的前提下防止判别器过拟合。
• 使对增广的梯度能够传递给生成器以稳定训练。

提出的方法

• 在 D 和 G 更新时，对真实样本和假样本应用相同的可微分增广 T。
• 使用简单增广：平移、Cutout、颜色，并研究它们的组合。
• 确保 T 可微分，以便梯度能反向传播到 G（图4）。
• 证明仅增广真实数据或仅增广判别器输入会因分布偏移或训练动力学失衡而失败。
• 在 ImageNet、CIFAR、FFHQ、LSUN-Cat 和低样本设置下，用 BigGAN 和 StyleGAN2 评估 DiffAugment。

实验结果

研究问题

• RQ1 在有限数据下，对真实和生成样本都应用可微分增广是否能稳定 GAN 训练？
• RQ2 哪些增广类型（及其组合）在不同架构中最能提高数据效率？
• RQ3 DiffAugment 在无条件和条件 GAN，以及在多样数据集和数据 regime 下的表现如何？

主要发现

• 在 ImageNet 128×128 的 BigGAN + DiffAugment 下，未截断时 IS 为 100.8，FID 为 6.80。
• DiffAugment 在 FFHQ 和 LSUN 上用 1k 训练样本时将 FID 降低 2–4×。
• 在 CIFAR-10/CIFAR-100 仅使用 20% 数据时，DiffAugment 匹配顶级表现；在无预训练（100 张图片）条件下获得强劲的低样本结果。
• DiffAugment 在 100%、50%、25% 数据设置下对 StyleGAN2 和 BigGAN 基线均有持续改进。
• 更强的增广策略能降低判别器过拟合并提升收敛性（图6）。
• DiffAugment 在固定的增广策略下仍然有效，且与并行自适应增广方法（ADA）相当。