[论文解读] DF-GAN: Deep Fusion Generative Adversarial Networks for Text-to-Image Synthesis

Ming Tao, Hao Tang+4 more|arXiv (Cornell University)|Aug 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 115

一句话总结

DF-GAN 提出了一种简化的端到端文本到图像生成框架，采用单一的生成器-判别器对，结合匹配感知的零中心梯度惩罚以实现语义一致性，并引入深度文本-图像融合模块以实现深层跨模态特征融合。该模型在 CUB-200 和 COCO 数据集上实现了最先进性能，同时提升了效率与图像质量。

ABSTRACT

Synthesizing high-resolution realistic images from text descriptions is a challenging task. Almost all existing text-to-image methods employ stacked generative adversarial networks as the backbone, utilize cross-modal attention mechanisms to fuse text and image features, and use extra networks to ensure text-image semantic consistency. The existing text-to-image models have three problems: 1) For the backbone, there are multiple generators and discriminators stacked for generating different scales of images making the training process slow and inefficient. 2) For semantic consistency, the existing models employ extra networks to ensure the semantic consistency increasing the training complexity and bringing an additional computational cost. 3) For the text-image feature fusion method, cross-modal attention is only applied a few times during the generation process due to its computational cost impeding fusing the text and image features deeply. To solve these limitations, we propose 1) a novel simplified text-to-image backbone which is able to synthesize high-quality images directly by one pair of generator and discriminator, 2) a novel regularization method called Matching-Aware zero-centered Gradient Penalty which promotes the generator to synthesize more realistic and text-image semantic consistent images without introducing extra networks, 3) a novel fusion module called Deep Text-Image Fusion Block which can exploit the semantics of text descriptions effectively and fuse text and image features deeply during the generation process. Compared with the previous text-to-image models, our DF-GAN is simpler and more efficient and achieves better performance. Extensive experiments and ablation studies on both Caltech-UCSD Birds 200 and COCO datasets demonstrate the superiority of the proposed model in comparison to state-of-the-art models.

研究动机与目标

• 解决现有文本到图像模型中采用多组生成器-判别器对处理不同图像尺度时导致的堆叠 GAN 架构效率低下的问题。
• 消除为强制实现文本-图像语义一致性而额外引入网络的需求，从而降低训练复杂度与计算成本。
• 通过克服跨模态注意力机制的计算限制，实现更深层次、更有效的文本与图像特征融合。
• 构建一个统一、高效且高性能的文本到图像生成框架，确保图像保真度与语义对齐。

提出的方法

• 提出一种简化的主干结构，仅使用单一的生成器-判别器对，替代堆叠架构，从而提升训练效率并降低复杂度。
• 提出一种匹配感知的零中心梯度惩罚，通过正则化使生成器输出既真实又与文本提示语义一致，且无需引入辅助网络。
• 设计一种深度文本-图像融合模块，实现在生成过程中持续、深度地融合文本与图像特征，增强语义理解与特征交互。
• 采用统一的训练目标，通过所提出的梯度惩罚与融合机制，联合优化图像保真度与文本-图像对齐。
• 采用单阶段训练流程，避免了渐进式生长或多阶段优化，从而简化训练过程。
• 在融合模块中利用注意力机制，但相比先前方法应用得更加密集且高效，从而实现更深层次的跨模态特征交互。

实验结果

研究问题

• RQ1 能否使用单一的生成器-判别器对替代堆叠 GAN 架构，同时在保持或提升图像质量与训练效率方面实现同等或更优表现？
• RQ2 是否可以在不增加额外网络的前提下实现文本与生成图像之间的语义一致性？若能，该正则化方法的有效性如何？
• RQ3 通过新型融合模块实现的深度、连续的文本与图像特征融合，是否相比稀疏注意力机制能带来更好的语义对齐与图像质量？
• RQ4 在基准数据集上的 FID、IS 及人工评估中，所提出的框架与最先进模型相比表现如何？

主要发现

• DF-GAN 在 CUB-200 与 COCO 数据集上均取得了最先进的 Fréchet Inception Distance (FID) 分数，表明其图像质量更优。
• 在 CUB-200 数据集上，该模型的 FID 分数低于先前方法，表明生成图像的逼真度与多样性均得到提升。
• 所提出的匹配感知零中心梯度惩罚能有效提升文本-图像语义一致性，且未引入额外参数或网络。
• 消融实验证实，深度文本-图像融合模块显著增强了特征交互，相比仅有限注意力融合的模型，其生成质量更优。
• 采用单一生成器-判别器对的统一训练流程相比堆叠 GAN 方法，显著减少了训练时间与计算成本。
• 该模型在自动评估指标与定性评估中均优于现有方法，生成图像展现出高保真度与与文本描述的精确对齐。