[论文解读] Improved Training with Curriculum GANs

Rishi Sharma, Shane Barratt+2 more|arXiv (Cornell University)|Jul 24, 2018

Handwritten Text Recognition Techniques参考文献 21被引用 10

一句话总结

本文提出了课程GAN（Curriculum GANs），一种训练策略，通过在训练过程中逐步提升判别器的容量来稳定学习过程并提升生成样本的质量。通过将这一课程机制与Karras等人（2017）提出的复杂渐进式生长机制解耦，作者在显著降低模型复杂度的前提下，实现了最先进的图像生成效果，证明了课程学习是跨数据模态的高质量GAN训练中的关键因素。

ABSTRACT

In this paper we introduce Curriculum GANs, a curriculum learning strategy for training Generative Adversarial Networks that increases the strength of the discriminator over the course of training, thereby making the learning task progressively more difficult for the generator. We demonstrate that this strategy is key to obtaining state-of-the-art results in image generation. We also show evidence that this strategy may be broadly applicable to improving GAN training in other data modalities.

研究动机与目标

• 隔离并验证最先进的图像生成GAN性能背后的核心训练策略。
• 证明生成高质量样本的关键在于判别器容量的渐进式扩展，而非复杂的网络结构变化。
• 将课程学习形式化为一种独立的、可泛化的GAN训练方法，适用于图像数据以外的其他模态。
• 通过识别统一且有原则的训练范式，减少对领域特定‘技巧’的依赖。
• 提供实证证据，表明课程学习可提升GAN在多种数据模态下的训练稳定性和性能。

提出的方法

• 该方法引入一种课程策略，即在训练的各个阶段逐步增加判别器的容量，从较简单的架构开始。
• 训练初期使用能力较弱的判别器，使生成器能先学习粗粒度特征，而不会被过度压制。
• 随着训练推进，判别器逐步升级为更复杂的架构，从而提高对生成器的挑战难度。
• 生成器与动态演化的判别器进行端到端联合训练，确保其能适应判别难度的逐步提升。
• 该方法将课程机制与Karras等人（2017）所采用的网络深度和宽度的渐进式增长机制解耦，简化了训练配置。
• 课程通过让判别器在日益复杂的分布或特征层次上进行训练来实现，模拟学习难度的自然递进过程。

实验结果

研究问题

• RQ1 Karras等人（2017）实现最先进图像质量的特定训练策略是什么？
• RQ2 GAN训练性能的提升是否可归因于课程学习机制，而非网络结构的复杂性？
• RQ3 逐步增加判别器容量是否能提升图像生成中GAN训练的稳定性和样本质量？
• RQ4 这种基于课程的方法能否推广到图像以外的其他数据模态？
• RQ5 近期GAN在自然语言生成中的成功是否源于隐含的课程学习应用？

主要发现

• 通过在时间维度上逐步提升判别器容量的课程策略，作者在简化后的GAN设置下实现了最先进的图像生成质量。
• 所提出的课程GAN方法在无需采用生成器与判别器逐层渐进生长机制的情况下，达到了与Karras等人（2017）相当的样本质量。
• 课程GAN的训练过程在收敛模式和视觉质量方面与原始渐进式生长方法相似，经等训练阶段的视觉对比验证。
• 该方法表明，高质量图像合成的关键并非网络结构的复杂性，而是判别难度的战略性递进。
• 初步结果表明，课程学习可能广泛适用于其他GAN应用，包括自然语言生成与文本到图像合成。
• 本研究为课程学习作为一项可泛化、有原则的方法提供了实证支持，可有效稳定并提升GAN在多种数据模态下的训练性能。