[论文解读] JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets

Yunchen Pu, Shuyang Dai+6 more|arXiv (Cornell University)|Jun 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 21

一句话总结

JointGAN 提出了一种新颖的生成对抗网络框架，通过对抗训练联合学习多个随机变量（例如图像、文本、标签）的边缘分布和条件分布。通过使用共享参数的生成器和单一基于 Softmax 的判别器，该方法实现了从边缘分布、条件分布或完整联合分布的端到端生成，在成对与非成对设置下均显著提升了图像相关性与质量，优于两步法基线模型。

ABSTRACT

A new generative adversarial network is developed for joint distribution matching. Distinct from most existing approaches, that only learn conditional distributions, the proposed model aims to learn a joint distribution of multiple random variables (domains). This is achieved by learning to sample from conditional distributions between the domains, while simultaneously learning to sample from the marginals of each individual domain. The proposed framework consists of multiple generators and a single softmax-based critic, all jointly trained via adversarial learning. From a simple noise source, the proposed framework allows synthesis of draws from the marginals, conditional draws given observations from a subset of random variables, or complete draws from the full joint distribution. Most examples considered are for joint analysis of two domains, with examples for three domains also presented.

研究动机与目标

• 开发一个统一的生成模型，学习多个随机变量的完整联合分布，而非仅条件分布或边缘分布。
• 克服现有 GAN 框架的局限性：需要经验边缘分布，无法从学习到的边缘分布进行生成。
• 将真实数据与合成数据的对比统一为单一基于 Softmax 的判别器，降低复杂度并提升训练效率。
• 将框架扩展至多领域设置，包括三个或更多领域，通过共享参数避免参数爆炸。
• 在图像、文本和标签等多种数据类型中，于监督与无监督学习范式下均验证模型的有效性。

提出的方法

• 该框架将联合分布分解为 q(x,y) = q(x)q(y|x) = q(y)q(x|y)，通过对抗训练同时学习边缘分布与条件分布。
• 采用四个生成器：两个用于边缘采样（q(x) 和 q(y)），两个用于条件采样（q(y|x) 和 q(x|y)）。
• 一个单一的五分类 Softmax 判别器，用于区分真实数据与四种类型的合成数据：边缘样本、条件样本和联合样本。
• 所有生成器与判别器通过对抗学习进行端到端联合训练，生成器之间共享参数以降低模型复杂度。
• 模型支持三种生成模式：从边缘分布采样、基于观测变量的条件采样，或从噪声源进行完整联合采样。
• 通过相应扩展生成器与判别器设计，该框架可推广至三个或更多领域。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否在多个领域中联合学习边缘分布与条件分布，实现完整的联合采样？
• RQ2 共享参数的单判别器设计在样本质量与分布匹配方面，相较于多判别器或两步法基线表现如何？
• RQ3 JointGAN 在推广至三个或更多领域时，能否在保持样本多样性与保真度的同时有效运行？
• RQ4 在无监督与监督的联合生成任务中，该模型是否优于现有两步法（如 GAN + 条件 GAN）？
• RQ5 该模型能否在无需成对训练数据的情况下，生成连贯且高质量的配对样本（如图像-标题、图像-标签）？

主要发现

• 在带有成对数据的 facades-to-labels-to-cityscapes 任务中，JointGAN 的相关性得分达到 0.488，显著优于 WGAN-GP + Pix2pix 基线模型（0.352）。
• 在非成对设置下，JointGAN 的相关性得分为 0.452，超过 WGAN-GP + CycleGAN 基线模型（0.203），展现出强大的零样本泛化能力。
• 在 Caltech-UCSD Birds 数据集上，JointGAN 能够成功生成多样化且连贯的图像-标题特征对，从噪声生成高质量图像，并准确重建标题特征。
• 模型的单一 Softmax 判别器有效整合了五组真实与合成数据的对比，提升了训练稳定性并降低了架构复杂度。
• 定性结果表明，JointGAN 在多个领域间生成了真实、多样且语义一致的配对样本，包括图像到标题与图像到标签的转换。
• 该框架支持从边缘分布、条件分布或完整联合分布进行端到端联合采样，相比先前模型具有更高的灵活性。