[论文解读] DTGAN: Dual Attention Generative Adversarial Networks for Text-to-Image Generation

Zhenxing Zhang, Lambert Schomaker|arXiv (Cornell University)|Nov 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 38

一句话总结

DTGAN 提出了一种单生成器/判别器框架，用于文本到图像生成，通过引入双注意力模块——通道感知注意力和像素感知注意力，以增强语义一致性和图像质量。通过集成条件自适应实例层归一化（CAdaILN）和一种新型视觉损失，DTGAN 在 CUB 和 COCO 数据集上实现了最先进的 FID 分数，优于多阶段模型，同时提升了训练稳定性和分辨率保真度。

ABSTRACT

Most existing text-to-image generation methods adopt a multi-stage modular architecture which has three significant problems: 1) Training multiple networks increases the run time and affects the convergence and stability of the generative model; 2) These approaches ignore the quality of early-stage generator images; 3) Many discriminators need to be trained. To this end, we propose the Dual Attention Generative Adversarial Network (DTGAN) which can synthesize high-quality and semantically consistent images only employing a single generator/discriminator pair. The proposed model introduces channel-aware and pixel-aware attention modules that can guide the generator to focus on text-relevant channels and pixels based on the global sentence vector and to fine-tune original feature maps using attention weights. Also, Conditional Adaptive Instance-Layer Normalization (CAdaILN) is presented to help our attention modules flexibly control the amount of change in shape and texture by the input natural-language description. Furthermore, a new type of visual loss is utilized to enhance the image resolution by ensuring vivid shape and perceptually uniform color distributions of generated images. Experimental results on benchmark datasets demonstrate the superiority of our proposed method compared to the state-of-the-art models with a multi-stage framework. Visualization of the attention maps shows that the channel-aware attention module is able to localize the discriminative regions, while the pixel-aware attention module has the ability to capture the globally visual contents for the generation of an image.

研究动机与目标

• 解决多阶段文本到图像 GAN 中存在的训练不稳定、计算成本高以及早期生成图像质量差的问题。
• 在不依赖多个生成器或判别器的前提下，提升文本描述与生成图像之间的语义一致性。
• 通过一种新型视觉损失提升图像质量，以保持形状和颜色的一致性。
• 利用条件归一化实现对纹理和形状变化的细粒度控制。

提出的方法

• 引入通道感知注意力模块，通过计算全局句子向量与特征图之间的注意力权重，突出与文本相关的通道。
• 采用像素感知注意力模块，生成空间注意力图，引导生成器关注图像中全局显著的区域。
• 提出条件自适应实例层归一化（CAdaILN），利用句子向量自适应融合实例归一化与层归一化，实现对特征调制的控制。
• 设计一种基于生成图像与真实图像深层特征之间 L1 距离的新型视觉损失，以提升感知质量和颜色分布。
• 使用统一的生成器/判别器对替代多阶段架构，降低训练复杂度并提升收敛性。
• 将注意力图直接用于微调特征图，而非替换它们，从而实现更精确的特征优化。

实验结果

研究问题

• RQ1 单个生成器/判别器对是否能够在无需多阶段训练的情况下实现文本到图像生成的最先进性能？
• RQ2 如何设计注意力机制以同时提升语义对齐与图像细节质量？
• RQ3 新型视觉损失对生成图像中形状与颜色保真度的影响如何？
• RQ4 CAdaILN 与标准归一化层相比，在控制纹理与形状调制方面表现如何？
• RQ5 双注意力模块在不同图像尺度上对特征优化的增强程度如何？

主要发现

• DTGAN 在 CUB 数据集上实现了 16.35 的 Fréchet Inception Distance（FID）分数，优于现有最先进模型。
• 在 CUB 数据集上，模型的 Inception Score（IS）达到 4.88，表明其生成图像质量高且多样性好。
• 消融实验表明，使用句子级条件控制的 CAdaILN 相较于批量归一化基线，IS 提升 0.17，FID 降低 3.27。
• 视觉损失模块显著提升了图像质量，定性比较显示生成图像的形状更鲜明，颜色分布更均匀。
• 注意力图可视化结果表明，通道感知注意力能准确定位判别性部件（如鸟喙、眼睛），而像素感知注意力能捕捉全局图像结构。
• 未使用视觉损失的模型无法生成具有真实感长翼展的鸟类，且颜色细节差，证实了视觉损失的关键作用。