[论文解读] Improved Techniques for Training GANs

Tim Salimans, Ian Goodfellow+4 more|arXiv (Cornell University)|Jun 10, 2016

Generative Adversarial Networks and Image Synthesis被引用 1,383

一句话总结

该论文提出新的结构特征和训练程序，以稳定 GAN 训练、改进半监督学习并提升生成图像的视觉质量，在 MNIST、CIFAR-10 和 SVHN 上取得了最先进的结果。它还展示了高分辨率的 ImageNet 示例，并提出一个基于 Inception 的评估指标。

ABSTRACT

We present a variety of new architectural features and training procedures that we apply to the generative adversarial networks (GANs) framework. We focus on two applications of GANs: semi-supervised learning, and the generation of images that humans find visually realistic. Unlike most work on generative models, our primary goal is not to train a model that assigns high likelihood to test data, nor do we require the model to be able to learn well without using any labels. Using our new techniques, we achieve state-of-the-art results in semi-supervised classification on MNIST, CIFAR-10 and SVHN. The generated images are of high quality as confirmed by a visual Turing test: our model generates MNIST samples that humans cannot distinguish from real data, and CIFAR-10 samples that yield a human error rate of 21.3%. We also present ImageNet samples with unprecedented resolution and show that our methods enable the model to learn recognizable features of ImageNet classes.

研究动机与目标

• 改善 GAN 训练的收敛性与稳定性。
• 利用 GAN 提升半监督学习的性能。
• 在多个数据集上生成高质量、感知上真实的图像。
• 提供可用于有效训练 GAN 的实用技术。

提出的方法

• 引入 feature matching 作为生成器目标，以在中间判别器层匹配真实数据的统计量。
• 实现 minibatch discrimination，通过允许判别器在一个小批次内比较样本来防止生成器模式崩溃。
• 使用 historical averaging，通过惩罚偏离参数的滑动平均来稳定学习。
• 应用单边标签平滑来稳定判别器，同时在数据稀缺时避免问题。
• 引入 virtual batch normalization，将批量统计量与生成器中单个样本输出分离。
• 提出 Inception score 作为自动、与人类判断相关的图像质量与多样性度量。

实验结果

研究问题

• RQ1 稳定化技术（feature matching、minibatch discrimination、historical averaging、label smoothing、virtual batch normalization）是否能够改善 GAN 的收敛性和样本质量？
• RQ2 这些技术是否能够在 MNIST、CIFAR-10、SVHN 上实现有效的半监督学习，并提升 ImageNet 规模的生成？
• RQ3 所提出的 Inception score 是否是图像质量与多样性的人类判断的可靠代理？
• RQ4 新技术如何与现有 GAN 架构交互，在大规模数据集中产生可识别的特征？

主要发现

• 在 MNIST、CIFAR-10 和 SVHN 上达到最先进的半监督分类结果。
• 在某些设置下，生成的 MNIST 样本在人类看来与真实数据无法区分；CIFAR-10 样本在视觉图灵测试中的人类错误率为 21.3%。
• 生成了具有前所未有分辨率的 ImageNet 类似样本，并学会了可辨识的 ImageNet 类别特征。
• Inception score 与人类判断相关并为生成图像提供了可扩展的自动评估指标。
• 消融研究表明 minibatch 特性和与标签相关的技术对样本质量和多样性至关重要。
• 对多个模型的集成进一步提升了半监督分类性能。