[论文解读] Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective

Tianlong Chen, Yu Cheng+3 more|arXiv (Cornell University)|Feb 28, 2021

Generative Adversarial Networks and Image Synthesis被引用 16

一句话总结

该论文提出了一种数据高效的 GAN 训练框架，通过利用从预训练 GAN 中识别出的彩票票券——即高度稀疏且可训练的子网络——并结合少量真实图像数据集进行训练。通过仅训练这些稀疏子网络，并结合数据级增强与一种新型特征级增强（AdvAug），该方法在仅使用 10–25% 训练数据的情况下，在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet 上实现了最先进的 FID 分数，优于完整连接的 GAN 和现有基线方法。

ABSTRACT

Training generative adversarial networks (GANs) with limited real image data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation, that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we suggest a brand-new angle towards data-efficient GAN training: by first identifying the lottery ticket from the original GAN using the small training set of real images; and then focusing on training that sparse subnetwork by re-using the same set. We find our coordinated framework to offer orthogonal gains to existing real image data augmentation methods, and we additionally present a new feature-level augmentation that can be applied together with them. Comprehensive experiments endorse the effectiveness of our proposed framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN-V2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet, and multiple few-shot generation datasets). Codes are available at: https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training.

研究动机与目标

• 为解决在真实图像数据有限的情况下训练高质量 GAN 的挑战，因为标准训练方法容易导致模式崩溃和性能下降。
• 探究是否可以在低数据环境下识别出彩票票券——即稀疏且可训练的子网络，并实现有效训练。
• 开发一种协调的两阶段框架：(i) 从少量数据中识别彩票票券，(ii) 高效地训练所识别出的子网络。
• 提出一种新型特征级增强（AdvAug），通过向生成器和判别器的中间特征注入对抗性扰动，以正则化两者。
• 证明彩票票券与数据增强可正交结合，从而在 GAN 训练中实现更优的数据效率。

提出的方法

• 使用迭代剪枝（IMP）算法在小规模真实图像数据集上识别 GAN 中的彩票票券，得到稀疏度高达 86.58% 的高度稀疏子网络。
• 使用相同的小规模数据集训练所识别出的稀疏子网络（即 GAN 票券），借助彩票票券假说，实现稳定且数据高效的训练。
• 提出 AdvAug，一种特征级增强方法，通过基于 PGD 的对抗性扰动作用于生成器和判别器的中间特征，以提升泛化能力。
• 选择性地应用 AdvAug——当扰动注入判别器的最后一层和生成器的第一层时，性能达到最优。
• 将 AdvAug 与现有的数据级增强方法（如 ADA、DiffAug）结合，进一步稳定训练并提升性能。
• 通过消融实验确定 AdvAug 的最优超参数，包括步长（0.01）、PGD 步数（1）和层位置。

实验结果

研究问题

• RQ1 在数据稀缺的 GAN 训练环境中，能否成功识别并训练彩票票券？
• RQ2 与训练完整连接的 GAN 相比，在识别出的稀疏子网络上训练是否能提升数据效率？
• RQ3 特征级增强（AdvAug）能否进一步提升数据高效 GAN 票券的性能？
• RQ4 AdvAug 的不同配置（强度、层位置）如何影响训练稳定性和 FID 分数？
• RQ5 所提出的框架能否在多样化的数据集上，仅使用极少真实数据，实现最先进的性能？

主要发现

• 在仅使用 10% 训练数据的 CIFAR-10 上，SNGAN 和 BigGAN 票券的稀疏度为 67.24–86.58%，FID 分别达到 23.14 和 70.91，优于其完整连接的对应模型。
• 在仅使用 10% 数据的 Tiny-ImageNet 上，BigGAN 票券在 36.00% 稀疏度下实现 FID 23.14 和 IS 52.98，优于完整连接 GAN。
• 在使用 25% 数据的 ImageNet 上，BigGAN 票券在 67.24% 稀疏度下实现 FID 70.91 和 IS 7.03，展现出在大规模基准上的强大性能。
• 与基线相比，所提出的 AdvAug 特征级增强在 CIFAR-10（10% 数据）上将 FID 降低 3.0 分，且与数据级增强结合后性能进一步提升。
• 稀疏度更高的 GAN 票券（如 83.22% 稀疏度）从 AdvAug 中获益更多，表明在低数据环境下对正则化更敏感。
• 仅使用 100 个真实样本，该方法即可生成与迁移学习基线相当的高质量图像，且无需预训练。