[论文解读] Semi-Supervised Learning with Generative Adversarial Networks

Augustus Odena|arXiv (Cornell University)|Jun 5, 2016

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 542

一句话总结

将 GAN 扩展到半监督学习，通过让判别器输出 N+1 个类别（N 个真实类别加上一个伪类），实现分类器与生成器的联合训练，并带来数据高效的分类与更好的样本质量。

ABSTRACT

We extend Generative Adversarial Networks (GANs) to the semi-supervised context by forcing the discriminator network to output class labels. We train a generative model G and a discriminator D on a dataset with inputs belonging to one of N classes. At training time, D is made to predict which of N+1 classes the input belongs to, where an extra class is added to correspond to the outputs of G. We show that this method can be used to create a more data-efficient classifier and that it allows for generating higher quality samples than a regular GAN.

研究动机与目标

• 激励并开发一种在训练生成模型的同时进行半监督分类的方法。
• 使判别器除了 real/fake 之外还能输出类别标签，为 G、D 和 C 创建共享表示。
• 展示在 MNIST 上通过联合 G-D-C 训练获得的数据效率提升和更高的样本质量。

提出的方法

• 扩增 GAN 判别器，使其具有 N+1 个输出，对应 N 个真实类别加一个 FAKE 类。
• 训练 D/C 以最小化观测标签在数据上的负对数似然，以及在生成样本上的 FAKE 标签；训练 G 以最大化 D/C 的准确性。
• 使用单一网络结构，在判别和分类任务之间共享权重（D 充当 C）。
• 可选地将 SGAN 与在不更新生成器的情况下训练的基线分类器进行比较。
• 在不同数据可用性下评估 MNIST 的生成质量和分类准确率。

实验结果

研究问题

• RQ1 GAN 判别器是否可以扩展为输出显式的类别标签，以实现半监督学习？
• RQ2 在标注数据有限的情况下，将判别和分类的权重共享是否能提高 MNIST 的数据效率？
• RQ3 联合的 G-D-C 训练是否比标准 GAN 产生更高质量的样本并更快地训练生成器？
• RQ4 在使用真实类别标签与仅使用 REAL/FAKE 标签时，SGAN 的性能对比如何？
• RQ5 作为半监督学习框架，SGAN 的实际好处与局限性是什么？

主要发现

示例	CNN	SGAN
1000	0.965	0.964
100	0.895	0.928
50	0.859	0.883
25	0.750	0.802

• 在 MNIST 上，无论初始化如何，SGAN 的输出样本都明显比标准 GAN 更清晰。
• 随着标注数据减少，SGAN 的表现优于在不更新生成器的情况下训练的基线分类器，表明数据效率提高。
• 在有限训练数据下，SGAN 的分类准确率高于基线。
• 分类器准确率示例显示，在较小的数据量下，SGAN 的准确率高于 CNN 基线。