[论文解读] MIXGAN: Learning Concepts from Different Domains for Mixture Generation

Guang-Yuan Hao, Hong-Xing Yu+1 more|arXiv (Cornell University)|Jul 4, 2018

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 3

一句话总结

MIXGAN 提出了一种新型生成对抗网络，能够从一个领域学习内容概念，从另一个领域学习风格概念，通过融合这些不同概念实现在新领域的图像合成。通过使用分层内容解码器和嵌入风格的混合解码器，MIXGAN 在混合生成任务中表现出色，人类评估的成功率达到 70%，显著优于 AAE、LSGAN 和 CycleGAN，后三者得分均低于 10%。

ABSTRACT

In this work, we present an interesting attempt on mixture generation: absorbing different image concepts (e.g., content and style) from different domains and thus generating a new domain with learned concepts. In particular, we propose a mixture generative adversarial network (MIXGAN). MIXGAN learns concepts of content and style from two domains respectively, and thus can join them for mixture generation in a new domain, i.e., generating images with content from one domain and style from another. MIXGAN overcomes the limitation of current GAN-based models which either generate new images in the same domain as they observed in training stage, or require off-the-shelf content templates for transferring or translation. Extensive experimental results demonstrate the effectiveness of MIXGAN as compared to related state-of-the-art GAN-based models.

研究动机与目标

• 为了解决现有 GAN 模型仅能生成与训练数据相同领域图像的局限性。
• 克服风格迁移与图像到图像翻译模型中对预存内容模板的依赖。
• 实现从一个领域获取内容、从另一个领域获取风格的新图像生成，形成一种全新的混合领域。
• 开发一种显式学习并融合不同领域中独立概念（内容与风格）的框架，用于创造性图像合成。

提出的方法

• MIXGAN 使用混合生成器，其中内容解码器从内容领域（例如包的形状）提取分层特征。
• 混合解码器从风格领域（例如鞋子的颜色图案）学习风格概念，并被设计为逐步将风格融入内容特征中。
• 生成器使用噪声作为潜在代码以启动生成过程，类似于烹饪前准备食材。
• 模型采用条件对抗训练方案，判别器负责区分真实图像与生成图像，以促使输出更具真实性。
• 使用深度二值分类器将每个生成样本分配到最近的训练分布，用于基于 MMD 的评估。
• 通过对抗损失和重建损失端到端训练框架，以保持内容与风格的一致性。

实验结果

研究问题

• RQ1 基于 GAN 的模型是否能够在不依赖预存内容模板的前提下，生成融合两个不同领域内容与风格的图像？
• RQ2 如何将内容与风格概念从不同领域中解耦并联合学习，以实现有效的混合生成？
• RQ3 该模型能否生成属于一个新领域（与两个训练分布均不同）的样本，通过分布分析可得到验证？
• RQ4 在人类评估和 MMD 距离的衡量下，该模型在生成概念融合图像方面相较于现有 GAN 模型的优越程度如何？

主要发现

• MIXGAN 在生成融合两个不同领域内容与风格的图像任务中，人类评估的成功率超过 70%，显著优于 AAE、LSGAN 和 CycleGAN，后三者得分均低于 10%。
• t-SNE 可视化结果表明，MIXGAN 生成的样本分布位于两个训练分布之间，证实了成功的混合生成。
• 与基线模型相比，MIXGAN 生成样本与其最近训练集之间的 MMD 距离更高，表明生成图像并非简单复制训练数据。
• 该模型成功生成了彩色的印刷体数字，通过结合手写数字的内容与印刷体数字的风格，展示了跨域融合能力。
• 在涉及包与鞋子的任务中，MIXGAN 生成了视觉上连贯的图像，其中内容（包的形状）与风格（鞋子的颜色图案）实现了感知上的融合。
• 消融实验证实，混合生成器的设计——即分离学习内容与风格，并通过分层解码器进行融合——对性能至关重要。