[论文解读] Generating Image Sequence from Description with LSTM Conditional GAN

Xu Ouyang, Xi Zhang+2 more|arXiv (Cornell University)|Jun 8, 2018

Multimodal Machine Learning Applications参考文献 23被引用 3

一句话总结

本文提出了一种LSTM条件式生成对抗网络（LSTM Conditional GAN），能够从自然语言描述中逐字逐步生成高质量的图像序列。通过在句子的每个词上应用对抗损失，模型逐步优化图像生成过程，在Oxford-102 Flowers和CUB-200-2011数据集上实现了优于当前最先进方法的逼真度与语义一致性。

ABSTRACT

Generating images from word descriptions is a challenging task. Generative adversarial networks(GANs) are shown to be able to generate realistic images of real-life objects. In this paper, we propose a new neural network architecture of LSTM Conditional Generative Adversarial Networks to generate images of real-life objects. Our proposed model is trained on the Oxford-102 Flowers and Caltech-UCSD Birds-200-2011 datasets. We demonstrate that our proposed model produces the better results surpassing other state-of-art approaches.

研究动机与目标

• 解决从自然语言描述生成逼真、高分辨率图像的挑战。
• 实现随着句子中每个词的逐步推进而进行的图像生成，以捕捉逐步累积的语义细节。
• 通过在每个词上应用对抗损失，提升图像质量和保真度，改善梯度流动与特征学习。
• 证明在每个词上生成图像相比在句子末尾一次性生成单一图像，能获得更优的整体结果。

提出的方法

• 模型使用LSTM逐字编码文本描述，以捕捉序列与句法结构。
• 采用条件式生成对抗网络架构，其中生成器根据LSTM编码的句子表示（截至每个词）生成图像。
• 在训练过程中，对每个词计算对抗损失，使生成器与判别器能够逐步更新，从而提升特征学习效果。
• 图像生成过程是渐进式的：模型在每个步骤生成一张新图像，随着更多词语被处理而逐步优化输出。
• 使用VGG-16和结构相似性指数（SSI）的特征，对图像质量与真实图像的相似度进行定量评估。
• 生成器被训练以最小化对抗损失与感知损失，损失函数基于VGG-16的中间层与最终层特征。

实验结果

研究问题

• RQ1 具有逐词图像生成的条件式生成对抗网络是否能生成比单步生成更逼真、语义更准确的图像？
• RQ2 在每个词上应用对抗损失是否能改善梯度流动并提升文本到图像生成的训练稳定性？
• RQ3 同一张真实图像能否在句子处理过程中有效用作多个中间图像生成的目标？
• RQ4 渐进式图像生成在多大程度上能捕捉描述中的细微细节，如花瓣颜色、形状与排列？

主要发现

• 所提出的LSTM条件式生成对抗网络生成了图像序列，其中每张图像对应于描述中截至该词的内容，显示出逐步优化的过程。
• 定性结果表明，生成的图像能准确反映描述的变化，例如花瓣颜色，图像与“黄色”、“白色”和“粉色”花瓣的描述完全匹配。
• 视觉检查确认，该模型生成的图像在逼真度与细节表现上均优于标准条件式生成对抗网络与仅基于最后一个词的生成方法。
• 基于VGG-16特征与SSI的定量评估显示，所提方法在欧氏距离上显著低于CGAN与最后一个词基线，且SSI得分更高。
• SSI与VGG-16相似性度量证实，该模型在多个尺度上均能捕捉全局结构与细微细节。
• 通过词级别对抗损失进行渐进式训练，显著提升了图像质量，并增强了与输入描述的语义对齐。