[论文解读] A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis

Jorge Agnese, Jonathan Herrera+2 more|arXiv (Cornell University)|Oct 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 70被引用 9

一句话总结

本文对用于文本到图像合成的生成对抗网络（GANs）进行了全面的综述与分类，将最先进模型分为四类：语义增强、分辨率增强、多样性增强和运动增强 GAN。回顾了如 StackGAN、AttnGAN 和 HDGAN 等关键架构，展示了其在提升语义对齐与视觉质量方面，能够从自然语言描述生成高保真、逼真的图像的能力。

ABSTRACT

Text-to-image synthesis refers to computational methods which translate human written textual descriptions, in the form of keywords or sentences, into images with similar semantic meaning to the text. In earlier research, image synthesis relied mainly on word to image correlation analysis combined with supervised methods to find best alignment of the visual content matching to the text. Recent progress in deep learning (DL) has brought a new set of unsupervised deep learning methods, particularly deep generative models which are able to generate realistic visual images using suitably trained neural network models. In this paper, we review the most recent development in the text-to-image synthesis research domain. Our survey first introduces image synthesis and its challenges, and then reviews key concepts such as generative adversarial networks (GANs) and deep convolutional encoder-decoder neural networks (DCNN). After that, we propose a taxonomy to summarize GAN based text-to-image synthesis into four major categories: Semantic Enhancement GANs, Resolution Enhancement GANs, Diversity Enhancement GANS, and Motion Enhancement GANs. We elaborate the main objective of each group, and further review typical GAN architectures in each group. The taxonomy and the review outline the techniques and the evolution of different approaches, and eventually provide a clear roadmap to summarize the list of contemporaneous solutions that utilize GANs and DCNNs to generate enthralling results in categories such as human faces, birds, flowers, room interiors, object reconstruction from edge maps (games) etc. The survey will conclude with a comparison of the proposed solutions, challenges that remain unresolved, and future developments in the text-to-image synthesis domain.

研究动机与目标

• 提供对使用对抗神经网络进行文本到图像合成近期进展的系统性综述。
• 识别并分类从自然语言描述生成逼真图像所面临的关键挑战。
• 提出一种新型分类法，将基于 GAN 的文本到图像合成划分为四个独立类别：语义增强、分辨率增强、多样性增强和运动增强。
• 在基准数据集上，从架构、设计和性能方面对比最先进模型。
• 概述该领域在深度生成模型用于文本到图像生成方面存在的开放性挑战与未来研究方向。

提出的方法

• 将基于 GAN 的文本到图像合成划分为四类：语义增强 GAN、分辨率增强 GAN、多样性增强 GAN 和运动增强 GAN。
• 回顾关键深度学习组件，包括生成对抗网络（GANs）、深度卷积编码器-解码器网络（DCNNs）以及注意力机制。
• 分析代表性模型如 StackGAN、StackGAN++、AttnGAN、HDGAN 和 TAC-GAN，重点关注其架构创新与训练策略。
• 利用特征嵌入函数（例如 φ()）将文本描述映射为潜在向量，以实现条件图像生成。
• 采用评估指标如 Inception Score（IS）和 Fréchet Inception Distance（FID），在 CUB、LSUN 和 COCO 等数据集上比较模型性能。
• 通过多样图像类别（包括鸟类、花卉、人脸和室内场景）的定性示例与定量评分对比模型表现。

实验结果

研究问题

• RQ1 不同 GAN 架构如何提升文本描述与生成图像之间的语义对齐？
• RQ2 哪些架构创新使得文本到图像合成能够实现更高分辨率和更清晰的图像生成？
• RQ3 多样性增强技术如何防止模式崩溃并提升样本多样性？
• RQ4 注意力机制与多尺度特征学习在提升生成质量方面发挥何种作用？
• RQ5 从自然语言描述生成逼真图像的关键局限与未解决挑战是什么？

主要发现

• StackGAN++ 在 CUB 数据集上实现了 32.64 的 Inception Score，显著优于早期模型 StackGAN（IS: 23.98）。
• AttnGAN 在 CUB 数据集上实现了 35.49 的 Inception Score，证明了注意力机制在对齐文本与图像特征方面的有效性。
• HDGAN 在 CUB 数据集上实现了 31.06 的 Inception Score，在 LSUN-Bedrooms 数据集上实现了 12.04 的 Inception Score，表明其在复杂场景生成方面表现强劲。
• 所提出的分类法有效按其主要设计目标组织了多样化的基于 GAN 的方法，清晰揭示了其演化关系与技术动机。
• AttnGAN 和 TAC-GAN 等模型显示出对特定文本短语的改进关注，从而在生成图像中更准确地定位视觉属性。
• 尽管已有进展，但在生成超过 256×256 像素的高分辨率图像，以及确保生成结果在颜色和结构上的一致性方面，仍存在挑战。