[论文解读] DF-GAN: A Simple and Effective Baseline for Text-to-Image Synthesis

Tao Ming, Hao Tang+4 more|arXiv (Cornell University)|Aug 13, 2020

Generative Adversarial Networks and Image Synthesis被引用 26

一句话总结

DF-GAN 提出了一种单阶段文本到图像生成框架，通过直接生成高分辨率图像来消除生成器之间的特征纠缠；采用目标感知判别器（Target-Aware Discriminator）结合匹配感知梯度惩罚（Matching-Aware Gradient Penalty）与单向输出机制，提升文本-图像一致性，且无需额外网络；引入深度融合模块（Deep Fusion Block）以实现更深层次的文本-图像特征融合。在 CUB 和 COCO 数据集上均达到当前最优性能，FID 分数分别为 14.81 和 15.62。

ABSTRACT

Synthesizing high-quality realistic images from text descriptions is a challenging task. Existing text-to-image Generative Adversarial Networks generally employ a stacked architecture as the backbone yet still remain three flaws. First, the stacked architecture introduces the entanglements between generators of different image scales. Second, existing studies prefer to apply and fix extra networks in adversarial learning for text-image semantic consistency, which limits the supervision capability of these networks. Third, the cross-modal attention-based text-image fusion that widely adopted by previous works is limited on several special image scales because of the computational cost. To these ends, we propose a simpler but more effective Deep Fusion Generative Adversarial Networks (DF-GAN). To be specific, we propose: (i) a novel one-stage text-to-image backbone that directly synthesizes high-resolution images without entanglements between different generators, (ii) a novel Target-Aware Discriminator composed of Matching-Aware Gradient Penalty and One-Way Output, which enhances the text-image semantic consistency without introducing extra networks, (iii) a novel deep text-image fusion block, which deepens the fusion process to make a full fusion between text and visual features. Compared with current state-of-the-art methods, our proposed DF-GAN is simpler but more efficient to synthesize realistic and text-matching images and achieves better performance on widely used datasets.

研究动机与目标

• 为解决堆叠式文本到图像 GAN 中因多尺度生成器在不同尺度上运行而引发的特征纠缠问题。
• 在不依赖如 DAMSM 或孪生网络等固定额外网络的前提下，提升文本-图像语义一致性。
• 在所有图像尺度上实现更深层次、更有效的文本与图像特征融合，以提升生成质量。
• 通过轻量级可堆叠的融合模块替代跨模态注意力机制，降低计算成本。

提出的方法

• 提出一种基于铰链损失（hinge loss）和残差网络（residual networks）的单阶段主干网络，直接生成高分辨率图像，避免多尺度生成器之间的纠缠。
• 引入目标感知判别器（Target-Aware Discriminator），结合匹配感知梯度惩罚（MA-GP）与单向输出（One-Way Output），在不增加额外网络的情况下提升语义一致性。
• 设计一种深度融合模块（DFBlock），通过多组仿射变换实现文本与视觉特征在所有特征尺度上的深层通道级融合。
• 采用 MA-GP 作为正则化策略，促使真实样本与文本匹配图像点处的梯度为零，平滑损失曲面并提升生成器泛化能力。
• 将双向输出（Two-Way Output）替换为单向输出（One-Way Output），在 MA-GP 设置下加速生成器收敛。
• 采用轻量级、可堆叠的架构，避免在高分辨率下引入跨模态注意力机制带来的计算负担。

实验结果

研究问题

• RQ1 单阶段生成器架构能否消除文本到图像生成中多尺度生成器之间的纠缠？
• RQ2 结合 MA-GP 与单向输出的目标感知判别器是否在强制文本-图像语义一致性方面优于 DAMSM 等额外网络？
• RQ3 通过可堆叠的 DFBlock 深化融合过程，能否提升文本与图像表征之间的特征交互？
• RQ4 在基准数据集上，该方法在图像质量和语义对齐方面与当前最优模型相比表现如何？
• RQ5 用轻量级融合模块替代跨模态注意力机制，在计算效率与训练效率方面存在怎样的权衡？

主要发现

• DF-GAN 在 CUB 数据集上实现了 14.81 的 Fréchet Inception Distance（FID）分数，显著优于以往的 SOTA 方法。
• 在 COCO 数据集上，DF-GAN 达到 15.62 的 FID 分数，展现出对复杂、多样化的图像-文本对的强大泛化能力。
• 用户研究表明，语义一致性得分为 4.61 / 5，表明生成图像与文本描述之间具有极强的一致性。
• 消融实验表明，单阶段主干网络（OS-B）、MA-GP 与单向输出（OW-O）的组合可获得最高的 IS（5.10）与最低的 FID（14.81）。
• DFBlock 在 IS（5.10）与 FID（14.81）上均优于 CBN、AdaIN 与 AFFBlock，证明了深层融合的有效性。
• 当同时使用 OS-B、MA-GP 与 OW-O 时，FID 相较基线降低 12.32 分，表明所有组件具有累积增益。