[论文解读] Conditional Generative Adversarial Nets

Mehdi Mirza, Simon Osindero|arXiv (Cornell University)|Nov 6, 2014

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 8,878

一句话总结

介绍通过向生成器和判别器提供条件信息来构建条件GAN，展示基于标签的 MNIST 数字生成以及 MIR Flickr 数据的多模态标注。

ABSTRACT

Generative Adversarial Nets [8] were recently introduced as a novel way to train generative models. In this work we introduce the conditional version of generative adversarial nets, which can be constructed by simply feeding the data, y, we wish to condition on to both the generator and discriminator. We show that this model can generate MNIST digits conditioned on class labels. We also illustrate how this model could be used to learn a multi-modal model, and provide preliminary examples of an application to image tagging in which we demonstrate how this approach can generate descriptive tags which are not part of training labels.

研究动机与目标

• 在GAN中引入条件化以控制数据生成，并探索多模态建模。
• 展示如何将辅助信息 y 集成到 G 与 D 以引导生成。
• 在 MNIST 数字上演示以类别标签为条件的条件GAN。
• 展示使用图像特征和文本标签进行多模态学习的条件GAN。

提出的方法

• 通过对生成器和判别器都进行辅助信息 y 的条件化来扩展 GAN。
• 在生成器中将 z（噪声）和 y 结合在一个联合隐藏表示中。
• 将 x 和 y 输入判别器，以估计数据与生成样本的概率。
• 以双人极小极大目标 V(D,G) = E[x~pdata] [log D(x|y)] + E[z~pz] [log(1 - D(G(z|y)))] 进行训练
• 在网络架构中使用 ReLU 和 maxout 单元，将输入映射到一个共享隐藏表示，然后再输出。
• 在 MNIST 上使用 Parzen 窗口对数似然估计进行评估，并在 MIR Flickr 上进行多模态标注，条件生成标注向量。

实验结果

研究问题

• RQ1 是否可以通过对辅助信息 y 的条件化来引导生成过程，以产生与该条件相对应的数据？
• RQ2 条件GAN 是否能够从图像特征和文本表示中学习多模态或描述性标签分布？
• RQ3 与未条件化的GAN相比，条件化如何影响 MNIST 的样本质量和对数似然估计？

主要发现

模型	MNIST
DBN	138±2
Stacked CAE	121±1.6
Deep GSN	214±1.1
Adversarial nets	225±2
Conditional adversarial nets	132±1.8

• 条件GAN能够在类别标签（单热编码）条件下生成 MNIST 数字。
• 在 MNIST 上的 Parzen 窗口对数似然显示条件网络在该设置中达到 132±1.8，与标准对抗网络的 225±2 相比。
• 该模型通过基于图像特征和语言表示的条件生成标签向量，展示了初步的多模态学习能力。
• 为 MIR Flickr 样例生成的标签显示出合理、多样的描述，与图像内容相符。
• 作者将结果作为概念验证，具有通过进一步超参数调优来达到或超过非条件GAN的潜力。