[论文解读] An Introduction to Image Synthesis with Generative Adversarial Nets

He Huang, Philip S. Yu+1 more|arXiv (Cornell University)|Mar 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 88被引用 155

一句话总结

论文综述基于 GAN 的图像合成，对直接、分层和迭代方法进行分类，并评述文本到图像和图像到图像翻译，包含评估方向和未来挑战。

ABSTRACT

There has been a drastic growth of research in Generative Adversarial Nets (GANs) in the past few years. Proposed in 2014, GAN has been applied to various applications such as computer vision and natural language processing, and achieves impressive performance. Among the many applications of GAN, image synthesis is the most well-studied one, and research in this area has already demonstrated the great potential of using GAN in image synthesis. In this paper, we provide a taxonomy of methods used in image synthesis, review different models for text-to-image synthesis and image-to-image translation, and discuss some evaluation metrics as well as possible future research directions in image synthesis with GAN.

研究动机与目标

• 提供基于 GAN 的图像合成方法的分类法（直接、分层、迭代）。
• 评审主要的文本到图像和图像到图像翻译方法及其权衡。
• 讨论评估指标与训练挑战，包括模式崩溃和稳定化技术。
• 突出有前景的方向以及通过 GAN 提升图像合成的潜在路径。

提出的方法

• 将图像合成方法分为直接、分层和迭代方法。
• 描述核心的 GAN 变体（条件 GAN、AC-GAN、BiGAN/ALI、VAE-GAN）及训练注意事项。
• 讨论专门化架构（StackGAN 家族、AttnGAN、GAWWN、PPGN）及它们如何结合文本与约束。
• 解释解决模式崩溃的策略（minibatch 特征、MRGAN、WGAN/WGAN-GP）及训练做法。
• 总结文本到图像合成的进展，包括位置约束和迭代采样方法，以及图像到图像翻译的基础。

实验结果

研究问题

• RQ1 用于图像合成的主要基于 GAN 的范式是什么，它们的权衡是什么？
• RQ2 如何将文本描述集成到 GAN 中以实现文本到图像合成？
• RQ3 当前文本到图像模型面临哪些挑战，特别是在复杂场景下？
• RQ4 哪些技术能提升训练稳定性并缓解 GAN 的模式崩溃？

主要发现

• 三种主要的图像合成范式存在：直接、分层和迭代方法，每种都有不同的架构和权衡。
• 文本到图像合成已从 GAN-INT-CLS 发展到 StackGAN/AttnGAN，注意力机制和多阶段生成提升了真实感并匹配文本特征。
• 堆叠和基于注意力的模型通常生成更清晰的图像，在某些数据集上可达到更高的 Inception Score，尽管感知质量可能不同（如 AttnGAN 与 StackGAN++）
• 具有辅助分类器（AC-GAN）和编码器组件（BiGAN/ALI）的方法可以提高清晰度并实现半监督学习。
• 数据条件（文本嵌入、位置约束和关键点）提升文本与生成图像之间的对齐，GAWWN 及类似 GAWWN 的方法实现对象定位。