[论文解读] Dual Adversarial Inference for Text-to-Image Synthesis

Qicheng Lao, Mohammad Havaei+4 more|arXiv (Cornell University)|Aug 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 5

一句话总结

本文提出了一种用于文本到图像合成的双重对抗推理框架，该框架在潜在空间中解耦内容与风格，通过无监督方式从文本嵌入学习内容，从图像数据学习风格。通过引入两个独立的潜在变量，并结合循环一致性进行对抗训练，该方法在Oxford-102、CUB和COCO数据集上提升了图像质量，实现了最先进的FID分数，并通过风格编辑实现了可控的图像生成。

ABSTRACT

Synthesizing images from a given text description involves engaging two types of information: the content, which includes information explicitly described in the text (e.g., color, composition, etc.), and the style, which is usually not well described in the text (e.g., location, quantity, size, etc.). However, in previous works, it is typically treated as a process of generating images only from the content, i.e., without considering learning meaningful style representations. In this paper, we aim to learn two variables that are disentangled in the latent space, representing content and style respectively. We achieve this by augmenting current text-to-image synthesis frameworks with a dual adversarial inference mechanism. Through extensive experiments, we show that our model learns, in an unsupervised manner, style representations corresponding to certain meaningful information present in the image that are not well described in the text. The new framework also improves the quality of synthesized images when evaluated on Oxford-102, CUB and COCO datasets.

研究动机与目标

• 学习文本到图像合成中内容与风格的解耦表征，其中内容源自文本描述，风格则从图像数据中推断。
• 解决现有方法将风格与内容混淆的局限性，即仅将噪声视为可变性的唯一来源，这通常导致冗余或低效的随机性。
• 通过显式建模风格为一个独立的潜在变量，并通过无监督对抗推理学习，提升图像生成的质量与多样性。
• 通过允许用户基于文本中的内容和图像中的风格进行条件控制，实现可控的图像生成，展示对位置、大小和数量等属性的解耦控制能力。
• 通过消融研究验证关键组件（如文本到图像判别器和循环一致性损失）的必要性。

提出的方法

• 该方法引入两个独立的潜在变量：内容（c）源自文本嵌入，风格（z）通过对抗推理从图像数据中推断。
• 采用双重对抗推理机制，其中判别器 D_{x,c} 匹配 (图像, 推断内容) 和 (重建图像, 真实内容) 的联合分布，以强制实现解耦。
• 应用循环一致性损失 V_{cycle}，以确保从内容和风格重建图像后重新编码，能够恢复原始内容和风格，从而提升特征保真度。
• 内容表征采用伯努利分布建模，以强化非高斯性并改善解耦效果，而非采用高斯假设。
• 模型采用条件生成对抗网络（conditional GAN）框架，其中生成器同时以内容和风格为条件，判别器 D_{x,φ_t} 确保图像与文本的一致性。
• 该框架通过图像生成和潜在空间推理的对抗目标进行端到端训练，无需显式的风格标注。

实验结果

研究问题

• RQ1 是否可以利用对抗推理在文本到图像合成中实现内容与风格的解耦，而无需依赖噪声作为可变性的唯一来源？
• RQ2 与标准GAN方法相比，从图像数据中无监督学习风格表征是否能提升图像质量与可控性？
• RQ3 文本到图像判别器 D_{x,φ_t} 和循环一致性损失对最终性能的贡献是什么？它们是冗余的还是必不可少的？
• RQ4 解耦的风格表征是否具有有意义的可解释性，例如能否控制生成图像中物体的位置、大小或数量？
• RQ5 潜在分布的选择（如伯努利分布与高斯分布）如何影响解耦效果与生成质量？

主要发现

• 所提方法在CUB数据集上实现了3.58 ± 0.05的Inception分数和18.41 ± 1.07的FID分数，优于基线模型与消融模型。
• 移除文本到图像判别器 D_{x,φ_t} 导致性能显著下降（Inception分数：3.31 ± 0.04，FID：20.65 ± 0.47），证明其对强监督的必要性。
• 循环一致性损失有助于性能提升，因为移除它会导致轻微退化（FID：19.29 ± 0.90），但模型仍优于基线。
• 将对抗循环损失替换为L2损失会导致性能急剧下降（Inception分数：1.73 ± 0.15，FID：149.8 ± 16.4），生成图像更加模糊。
• t-SNE可视化证实了特征解耦：内容按颜色聚类（一种文本属性），而风格则呈现分散且局部的聚类（如多个花朵、位于顶部的花朵）。
• 该模型通过结合文本中的内容与图像中的风格，成功生成多样且高质量的图像，实现了对位置、大小和数量等属性的可控编辑。