[论文解读] Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data

Liming Jiang, Bo Dai+2 more|arXiv (Cornell University)|Nov 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 28

一句话总结

APA 使用生成器自适应地用其自造的假图片来扩充有限的真实数据，欺骗判别器以抑制过拟合并在不需要外部增强的情况下提升GAN训练质量。

ABSTRACT

Generative adversarial networks (GANs) typically require ample data for training in order to synthesize high-fidelity images. Recent studies have shown that training GANs with limited data remains formidable due to discriminator overfitting, the underlying cause that impedes the generator's convergence. This paper introduces a novel strategy called Adaptive Pseudo Augmentation (APA) to encourage healthy competition between the generator and the discriminator. As an alternative method to existing approaches that rely on standard data augmentations or model regularization, APA alleviates overfitting by employing the generator itself to augment the real data distribution with generated images, which deceives the discriminator adaptively. Extensive experiments demonstrate the effectiveness of APA in improving synthesis quality in the low-data regime. We provide a theoretical analysis to examine the convergence and rationality of our new training strategy. APA is simple and effective. It can be added seamlessly to powerful contemporary GANs, such as StyleGAN2, with negligible computational cost.

研究动机与目标

• 解决由于判别器过拟合而导致的有限数据下训练GAN的挑战。
• 引入自适应伪增强（APA），使用生成的图像以自适应方式欺骗判别器。
• 提供理论分析，将APA与JS散度最小化及收敛性联系起来。
• 展示APA在当代GAN如StyleGAN2中的有效性和兼容性，且计算开销极小。

提出的方法

• 辅助伪增强：将来自生成器的假样本以适度方式注入真实数据中，作为伪真实示例。
• 欺骗概率p控制增强强度，并基于从判别器对数输出推导的过拟合启发式λ自适应更新。
• 提出三种λ变体：lambda_r、lambda_f、lambda_rf，在主要实验中使用lambda_r。
• APA导致一个改进的极小极大目标，与平滑化后的真实数据分布与生成数据分布之间的JS散度最小化相关。
• 可证明的收敛性：在最优的G和D下，APA在p_g = p_data处保持全局最小值，暗示在足够容量条件下生成器的收敛。

实验结果

研究问题

• RQ1 在低数据情形下，APA是否能在无需外部增强的情况下提升GAN表现？
• RQ2 在有限数据条件下，APA是否维持收敛性并与JS散度最小化相关？
• RQ3 在实践中，APA如何与现有的基于增强或正则化的方法（如ADA、LC-Reg）互动？
• RQ4 在不同数据集和数据稀缺场景中，APA的经验影响是什么？

主要发现

• 与StyleGAN2基线相比，APA在AFHQ-Cat-5k、FFHQ-5k、Anime-5k和CUB-12k的合成质量方面始终有明显提升（FID更低、IS更高）。
• 仅用1k–7k数据时，APA在FID/IS上取得显著提升，有时接近全量数据下StyleGAN2的表现。
• 相对于基于ADA的方法，APA训练的计算开销可以忽略不计。
• APA可与如ADA等标准数据增强互补，联合使用时可进一步提升性能。
• 消融研究表明对lambda变体的选择具有鲁棒性，并且自适应欺骗（p）在大多数情况下优于固定或双边标签策略。
• 理论上，APA将目标转向在平滑后的真实数据与生成数据之间最小化JS散度，支持收敛性断言。