[论文解读] Generating Images from Captions with Attention

Elman Mansimov, Emilio Parisotto+2 more|arXiv (Cornell University)|Nov 9, 2015

Multimodal Machine Learning Applications参考文献 24被引用 74

一句话总结

本文提出 alignDRAW，一种条件生成模型，通过词元上的软注意力机制与迭代式局部区域绘制，从自然语言描述生成高质量图像。结合变分自编码器与基于双向RNN的语言建模及注意力机制，该模型即使在分布外的描述（如“一个交通标志正在蓝色天空中飞行”）下，也能生成逼真且新颖的场景构图，在图像生成与检索任务中表现优于基线模型，结构相似性指数（SSI）达 0.156 ± 0.11。

ABSTRACT

Motivated by the recent progress in generative models, we introduce a model that generates images from natural language descriptions. The proposed model iteratively draws patches on a canvas, while attending to the relevant words in the description. After training on Microsoft COCO, we compare our model with several baseline generative models on image generation and retrieval tasks. We demonstrate that our model produces higher quality samples than other approaches and generates images with novel scene compositions corresponding to previously unseen captions in the dataset.

研究动机与目标

• 开发一种能够从自然语言描述生成逼真图像的生成模型，超越无条件或标签条件的图像生成方法。
• 使模型能够泛化至训练过程中未见过的、新颖的分布外描述，例如“一个交通标志正在蓝色天空中飞行”。
• 通过使用拉普拉斯金字塔生成对抗网络（GAN）进行后处理，提升图像质量，实现对抗性锐化。
• 使用标准指标在图像生成与图像检索任务上评估模型性能。

提出的方法

• 模型使用双向RNN将输入描述编码为上下文相关的词表示，捕捉句子中的前后向依赖关系。
• 在每一步图像生成过程中，软注意力机制动态关注描述中相关词语，指导在画布上绘制的位置与内容。
• 图像生成过程是迭代进行的：在每个时间步，模型生成一个小图像块，并根据描述中最相关的词语来条件化生成过程。
• 模型采用变分自编码器框架进行训练，结合可微分注意力机制，优化图像在给定描述下对数似然的下界。
• 生成完成后，应用确定性的拉普拉斯金字塔GAN对主模型输出的模糊图像进行锐化，提升感知质量。
• 模型在 Microsoft COCO 数据集上进行训练，并使用检索指标（R@K）与生成图像的结构相似性（SSI）进行评估。

实验结果

研究问题

• RQ1 深度生成模型能否利用词元上的注意力机制，从自然语言描述生成逼真且连贯的图像？
• RQ2 该模型是否能泛化至生成描述新颖、分布外场景（如训练数据中未出现的场景）的合理图像？
• RQ3 与端到端图像生成相比，采用迭代式注意力图像生成在图像质量与检索性能方面表现如何？
• RQ4 在不进行端到端训练的前提下，使用GAN进行后处理能否提升变分自编码器生成图像的感知质量？

主要发现

• alignDRAW 模型在结构相似性指数（SSI）上达到 0.156 ± 0.11，优于其他变分模型与 LAPGAN，在图像相似性指标上表现更优。
• 在图像检索任务中，alignDRAW 的 Recall@50（R@50）达到 68.5%，显著优于基线模型（如 Fully-Conn VAE 的 53.4% 与 Conv-Deconv VAE 的 52.9%）。
• 模型成功为高度异常的描述（如“一个交通标志正在蓝色天空中飞行”）生成了合理的图像，展现出强大的分布外泛化能力。
• 使用拉普拉斯金字塔GAN进行后处理显著提升了图像的视觉锐度，但因缺乏端到端训练，该方法的效果受限。
• 模型性能对图像锐化敏感，锐化处理导致对数似然估计与检索性能下降，表明基于似然的指标在后处理图像上可能不可靠。