[论文解读] Augmentation-Aware Self-Supervision for Data-Efficient GAN Training

Liang Hou, Qi Cao+8 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出 AugSelf-GAN，一种数据高效的 GAN 训练方法，通过利用增强参数的自监督预测来缓解低数据场景下的过拟合问题。通过训练判别器同时预测数据的真实性与增强参数（如平移、裁剪），并促使生成器生成在增强下可预测的、逼真的样本，该方法在 CIFAR-10、CIFAR-100、FFHQ、LSUN-Cat 及低样本数据集上，在极端数据稀缺条件下实现了最先进的 FID 分数。

ABSTRACT

Training generative adversarial networks (GANs) with limited data is challenging because the discriminator is prone to overfitting. Previously proposed differentiable augmentation demonstrates improved data efficiency of training GANs. However, the augmentation implicitly introduces undesired invariance to augmentation for the discriminator since it ignores the change of semantics in the label space caused by data transformation, which may limit the representation learning ability of the discriminator and ultimately affect the generative modeling performance of the generator. To mitigate the negative impact of invariance while inheriting the benefits of data augmentation, we propose a novel augmentation-aware self-supervised discriminator that predicts the augmentation parameter of the augmented data. Particularly, the prediction targets of real data and generated data are required to be distinguished since they are different during training. We further encourage the generator to adversarially learn from the self-supervised discriminator by generating augmentation-predictable real and not fake data. This formulation connects the learning objective of the generator and the arithmetic $-$ harmonic mean divergence under certain assumptions. We compare our method with state-of-the-art (SOTA) methods using the class-conditional BigGAN and unconditional StyleGAN2 architectures on data-limited CIFAR-10, CIFAR-100, FFHQ, LSUN-Cat, and five low-shot datasets. Experimental results demonstrate significant improvements of our method over SOTA methods in training data-efficient GANs.

研究动机与目标

• 解决在有限训练数据下 GAN 过拟合的问题，特别是由于小样本数据集上判别器过拟合所致。
• 克服标准数据增强在 GAN 中的局限性，即隐式诱导对增强的不必要不变性，从而损害表示学习。
• 通过引入一个自监督判别器，学习在区分真实与生成数据的同时预测增强参数，从而提升数据效率。
• 通过训练生成器生成不仅逼真且在增强下可预测的样本，提升其泛化能力，从而与自监督目标保持一致。
• 在特定假设下，将生成器的优化与算术-调和平均散度理论关联，提供一个有原则的训练目标。

提出的方法

• 提出一种新颖的自监督判别器，联合预测增强数据的真实性（真实/生成）与增强参数（如平移、裁剪），并以原始（未增强）输入作为上下文。
• 在训练过程中为真实数据与生成数据设计独立的自监督头，以反映其在不同数据分布动态下的差异，尤其是在训练初期。
• 为生成器引入双重目标：既要欺骗主判别器，又要生成能让自监督判别器准确预测增强参数的样本。
• 在特定假设下，将生成器的训练目标形式化为最小化一种鲁棒 f-散度（算术-调和平均散度），将该方法与理论基础坚实的散度最小化相联系。
• 以可微分增强（DiffAugment）作为基础增强策略，但通过在增强参数上引入自监督信号，防止对不变性的归纳偏置。
• 引入一个超参数 λ 以平衡自监督损失与对抗损失，提升在不同数据场景下的超参数鲁棒性。

实验结果

研究问题

• RQ1 在低数据 GAN 训练中，对增强参数进行自监督预测是否能提升判别器泛化能力并减少过拟合？
• RQ2 将真实与生成数据的自监督目标区分开来，是否能提升表示学习与生成质量？
• RQ3 能否训练生成器生成在增强下可预测的逼真样本？这种策略是否能提升数据效率？
• RQ4 在极端数据稀缺条件下，该方法在 FID 与 IS 指标上与 SOTA 基线（如 DiffAugment、ADA、LeCam-GAN）相比表现如何？
• RQ5 该方法对更强的增强（如平移 + 裁剪）及超参数选择是否具有鲁棒性？

主要发现

• 在使用 10% 训练数据的 CIFAR-10 上，AugSelf-GAN 的 FID 达到 15.68±.26，优于 SOTA 基线 DiffAugment（FID 20.60±.13）与固定自监督基线（FID 17.66±.55）。
• 在使用 10% 训练数据的 CIFAR-100 上，AugSelf-GAN 的 FID 达到 21.30±.15，显著优于 DiffAugment 基线（FID 34.92±.63）与固定自监督基线（FID 22.84±.28）。
• 在更强增强（平移 + 裁剪）条件下，AugSelf-GAN 在 CIFAR-10（10% 数据）上的 FID 达到 12.76±.14，优于 DiffAugment（FID 20.93±.21），表明其对强增强具有更强鲁棒性。
• 即使在较高的 λ 值（如 λ = 10）下，该方法仍保持稳定，CIFAR-10（10% 数据）上的 FID 为 15.68±.26，相比基线方法展现出更强的超参数鲁棒性。
• 在五个低样本图像生成基准上，AugSelf-GAN 在 FID 与 IS 上均实现一致提升，证实其在极端数据稀缺场景下的有效性。
• 理论分析表明，在较弱假设下，生成器的目标近似于算术-调和平均散度的最小化，为分布对齐提供了有原则的联系。