[论文解读] Image Augmentations for GAN Training

Zhengli Zhao, Zizhao Zhang+3 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 47被引用 116

一句话总结

本论文系统性研究用于GAN训练的图像增强，并显示对真实图像和生成图像同时进行增强，尤其是结合一致性和对比学习正则化，在生成质量上获得显著提升，并在 CIFAR-10 上达到最先进的结果。

ABSTRACT

Data augmentations have been widely studied to improve the accuracy and robustness of classifiers. However, the potential of image augmentation in improving GAN models for image synthesis has not been thoroughly investigated in previous studies. In this work, we systematically study the effectiveness of various existing augmentation techniques for GAN training in a variety of settings. We provide insights and guidelines on how to augment images for both vanilla GANs and GANs with regularizations, improving the fidelity of the generated images substantially. Surprisingly, we find that vanilla GANs attain generation quality on par with recent state-of-the-art results if we use augmentations on both real and generated images. When this GAN training is combined with other augmentation-based regularization techniques, such as contrastive loss and consistency regularization, the augmentations further improve the quality of generated images. We provide new state-of-the-art results for conditional generation on CIFAR-10 with both consistency loss and contrastive loss as additional regularizations.

研究动机与目标

• 评估一组广泛的图像增强操作在GAN训练中的有效性。
• 确定仅增强真实图像还是同时增强真实和生成图像对GAN性能的影响。
• 评估增强驱动的正则化（如一致性正则化和对比损失）对GAN的影响。
• 确定在不同架构下最能提升GAN生成质量的增强类型及其强度。

提出的方法

• 在CIFAR-10上使用SNDCGAN（无条件）和BigGAN（有条件）评估10种基础增强和3种高级增强。
• 比较在将数据输入判别器之前，仅增强真实图像与同时增强真实和生成图像的效果。
• 应用铰链损失并在多组随机种子下报告Fréchet Inception Distance (FID)以增强鲁棒性。
• 在增强数据上引入一致性正则化（CR）和均衡CR（BCR），以评估叠加增益。
• 在增强的真实和伪图像副本上加入对比损失（Cntr），以检验互补正则化效应。
• 将Cntr与BCR结合，以在CIFAR-10有条件生成上实现最先进的FID。

实验结果

研究问题

• RQ1 当仅对真实图像应用增强与对真实和生成图像都应用增强时，是否能提升GAN性能？
• RQ2 哪些增强类型（空间型与视觉型）最能提升GAN生成质量？
• RQ3 一致性正则化和对比损失如何与增强策略在GAN中交互作用？
• RQ4 增强结合正则化是否能在CIFAR-10上达到最先进的结果？

主要发现

• 仅对真实图像进行增强对于普通GAN训练无效，且可能降低FID。
• 对真实和生成图像同时进行增强在各种架构中持续提升GAN性能。
• 空间增强（如平移、缩放）在提升FID方面优于纯视觉增强。
• 在增强数据上的一致性正则化提供了显著的增益，常常优于基本CR变体。
• 将对比损失与一致性正则化和增强结合，实现在CIFAR-10有条件生成上的新SOTA FID。
• 对于CIFAR-10，增强加正则化可以匹配或超过之前在CR-GAN方法中未使用增强的结果。