[论文解读] Coupled Generative Adversarial Networks

Ming-Yu Liu, Oncel Tuzel|arXiv (Cornell University)|Jun 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 102

一句话总结

CoGAN 通过在两个 GAN 之间共享高层特征解码来在没有对应图像元组的情况下学习多域图像的联合分布，从而实现无监督的联合生成、域适应和图像转换。

ABSTRACT

We propose coupled generative adversarial network (CoGAN) for learning a joint distribution of multi-domain images. In contrast to the existing approaches, which require tuples of corresponding images in different domains in the training set, CoGAN can learn a joint distribution without any tuple of corresponding images. It can learn a joint distribution with just samples drawn from the marginal distributions. This is achieved by enforcing a weight-sharing constraint that limits the network capacity and favors a joint distribution solution over a product of marginal distributions one. We apply CoGAN to several joint distribution learning tasks, including learning a joint distribution of color and depth images, and learning a joint distribution of face images with different attributes. For each task it successfully learns the joint distribution without any tuple of corresponding images. We also demonstrate its applications to domain adaptation and image transformation.

研究动机与目标

• 动机：从独立边缘样本中学习多域图像的联合分布。
• 通过在 GAN 中引入权重共享，消除显式成对训练数据的需求。
• 证明共享的高层表示能够跨域实现联合生成（例如颜色-深度、带有/不带属性的面部等）。

提出的方法

• 将 GAN 框架扩展为两个域的一对 GAN，并对高层解码层施加权重共享约束。
• 共享生成器的前 k 层以在两个域之间强制共同的高层语义。
• 共享判别器的后 l 层以对齐跨域的高层判定边界。
• 定义一个在两个域上优化标准 GAN 损失的同时强制权重共享的受约束极小极大目标。
• 用来自每个域的边缘分布样本进行训练，而不需要联合域的对应关系。
• 通过生成对之间的像素级一致性进行评估，并与条件 GAN 基线进行比较。

实验结果

研究问题

• RQ1 在没有成对训练数据的情况下，是否可以学习两个图像域的联合分布？
• RQ2 对生成器强制权重共享是否能够从独立边缘样本中得到相应的跨域输出？
• RQ3 对于颜色-深度配对、基于属性的面部生成和域自适应等任务，CoGAN 的表现如何？

主要发现

• CoGAN 仅使用边缘样本即可学习两个图像域的联合分布。
• 生成器中更多的权重共享层能带来性能提升，表明共享的高层语义驱动了联合生成。
• 判别器的权重共享有助于参数效率，但不是学习联合分布的必要条件。
• 在像素级一致性指标上，CoGAN 在数字边缘和数字负样本任务上优于条件 GAN 基线。
• CoGAN 能在没有对应训练样本的情况下生成颜色-深度对和面部属性对，证明了无监督的联合分布学习。
• 应用包括无监督域自适应（如 MNIST 到 USPS）和跨域图像变换。