[论文解读] Cycle Text-To-Image GAN with BERT

Trevor Tsue, Samir Sen+1 more|arXiv (Cornell University)|Mar 26, 2020

Multimodal Machine Learning Applications参考文献 14被引用 7

一句话总结

本文提出了一种结合 BERT 嵌入和循环训练机制的循环文本到图像 GAN，以提升从文本描述生成图像的质量。通过联合训练文本到图像生成和图像到文本生成，并利用上下文化的 BERT 词嵌入，该模型在图像质量和多样性方面表现更优，在 100 个训练周期时，Inception Score（5.92 对比 3.92）和人工评估（MOS 3.9 对比 3.6）上均优于 AttnGAN 基线模型。

ABSTRACT

We explore novel approaches to the task of image generation from their respective captions, building on state-of-the-art GAN architectures. Particularly, we baseline our models with the Attention-based GANs that learn attention mappings from words to image features. To better capture the features of the descriptions, we then built a novel cyclic design that learns an inverse function to maps the image back to original caption. Additionally, we incorporated recently developed BERT pretrained word embeddings as our initial text featurizer and observe a noticeable improvement in qualitative and quantitative performance compared to the Attention GAN baseline.

研究动机与目标

• 通过解决基于 GAN 的模型中存在的领域差距和多样性不足问题，提升文本到图像生成质量。
• 通过引入学习图像到文本重建的循环架构，增强图像与文本的一致性。
• 利用 BERT 获得的上下文化词嵌入，提升文本描述的语义表征能力。
• 评估 BERT 和循环训练对图像质量、多样性以及与字幕对应关系的影响。
• 通过定量和定性指标，将所提模型与 AttnGAN 基线进行对比。

提出的方法

• 采用循环 GAN 架构，联合训练文本到图像生成器和图像到文本判别器，以增强一致性。
• 引入循环损失，从生成的图像中重建原始字幕，提升文本与图像特征之间的对齐。
• 用基于 BERT 的上下文化嵌入替换 AttnGAN 中的标准词嵌入层，以获得更丰富的语义表征。
• 采用两阶段堆叠 GAN 框架：第一阶段生成低分辨率图像特征，第二阶段通过注意力机制进行细化。
• 在生成器中对词级别特征应用乘法注意力机制，以在图像生成过程中聚焦于相关词语。
• 采用 Inception Score 和平均意见得分（MOS）对图像质量与多样性进行定量和人工评估。

实验结果

研究问题

• RQ1 与非上下文化的嵌入相比，引入 BERT 嵌入是否能提升文本到图像生成的质量与多样性？
• RQ2 包含图像到文本重建的循环训练机制是否能增强图像与文本的一致性并提升生成性能？
• RQ3 BERT 与循环训练的结合如何影响收敛速度与最终模型性能？
• RQ4 所提模型在定量指标和人工评估中，相较于 AttnGAN 基线模型，其优越性体现在多大程度上？
• RQ5 BERT 嵌入与循环架构对整体性能提升的相对贡献分别是什么？

主要发现

• 在 100 个训练周期时，结合 BERT 嵌入的循环 GAN 达到了 5.92 的 Inception Score，显著优于 AttnGAN 基线模型（3.92）。
• 在 50 个训练周期时，结合 BERT 嵌入的循环 GAN 达到 5.48 的 Inception Score，而 AttnGAN 仅为 2.78，表明其训练更快且更高效。
• 人工评估显示，结合 BERT 嵌入的循环 GAN 的平均意见得分（MOS）为 3.9，高于 AttnGAN 的 3.6，表明其生成图像在感知质量上更优。
• 视觉检查显示，结合 BERT 嵋入的循环 GAN 生成的图像更清晰、更逼真，颜色准确性更高，细节更丰富，如鸟喙结构等。
• 该模型表现出更优的图像与文本对应关系，体现在更高的 MOS 得分以及生成图像中语义属性的更好重建。
• Inception Score 在 100 个训练周期内持续上升并趋于稳定，表明模型从更长的训练中受益，尚未完全收敛。