[论文解读] Improved Training of Wasserstein GANs

Ishaan Gulrajani, Faruk Ahmed+3 more|arXiv (Cornell University)|Mar 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 1,510

一句话总结

这篇论文在WGAN中用梯度惩罚替代权重裁剪，以实现李普希茨连续性，从而在多种架构上实现稳定训练，并在 CIFAR-10 和 LSUN bedrooms 上获得高质量样本。

ABSTRACT

Generative Adversarial Networks (GANs) are powerful generative models, but suffer from training instability. The recently proposed Wasserstein GAN (WGAN) makes progress toward stable training of GANs, but sometimes can still generate only low-quality samples or fail to converge. We find that these problems are often due to the use of weight clipping in WGAN to enforce a Lipschitz constraint on the critic, which can lead to undesired behavior. We propose an alternative to clipping weights: penalize the norm of gradient of the critic with respect to its input. Our proposed method performs better than standard WGAN and enables stable training of a wide variety of GAN architectures with almost no hyperparameter tuning, including 101-layer ResNets and language models over discrete data. We also achieve high quality generations on CIFAR-10 and LSUN bedrooms.

研究动机与目标

• 展示权重裁剪在 WGANs 中引发的问题。
• 提出梯度惩罚（WGAN-GP）以实现李普希茨连续性。
• 展示在多种架构和数据集上的稳定训练。
• 在 CIFAR-10 和 LSUN bedrooms 上实现高质量样本生成。
• 展示使用连续生成器对离散数据的建模能力。

提出的方法

• 在判别器输入梯度上引入梯度惩罚，沿真实样本与生成样本之间的直线应用。
• 在判别器损失中设定可微分的软李普希茨约束，惩罚项 λ(∥∇x̂D(x̂)∥2 − 1)2。
• 在 Pr 与 Pg 之间的直线等距采样 x̂，以在最优判别器期望具有单位梯度范数的地方强制梯度范数约束。
• 省略判别器的批量归一化以维持每个样本的梯度惩罚。
• 采用双向惩罚将梯度范数向 1 靠拢，在所有实验中 λ = 10。
• 使用 Adam 进行训练，并采用 WGAN-GP 的建议超参数，与权重裁剪和 DCGAN 进行比较。

实验结果

研究问题

• RQ1 梯度裁剪是否会在 WGAN 判别器中引起不稳定和欠拟合？
• RQ2 梯度惩罚是否能为判别器提供更稳定、可扩展的李普希茨约束？
• RQ3 在如 CIFAR-10 和 LSUN 等数据集上，提出的梯度惩罚是否使多样化的 GAN 架构可训练？
• RQ4 在样本质量和训练速度方面，WGAN-GP 与权重裁剪和 DCGAN 的比较？
• RQ5 该方法是否能够使连续生成器对离散型数据进行建模？

主要发现

• 梯度惩罚避免了权重裁剪导致的欠拟合和不稳定梯度行为。
• WGAN-GP 在广泛的架构中训练（包括深度 ResNet）且超参数调整很少。
• 在 CIFAR-10 上，WGAN-GP 以更快的收敛速度在 Inception 分数上与 DCGAN 相当；梯度惩罚模型显示出比权重裁剪更高的稳定性。
• WGAN-GP 在 LSUN bedrooms 上获得高质量样本，并使极深的残差GAN配置可以成功训练。
• 一个深层 ResNet GAN 配合 WGAN-GP 在 128×128 的 LSUN bedrooms 上产生有竞争力的样本。
• 带梯度惩罚的连续生成器可以对离散型数据建模（如 Google Billion Word 数据集），而标准 GANs 难以处理。