[论文解读] C4Synth: Cross-Caption Cycle-Consistent Text-to-Image Synthesis

K J Joseph, Arghya Pal+2 more|arXiv (Cornell University)|Sep 20, 2018

Multimodal Machine Learning Applications参考文献 19被引用 4

一句话总结

C4Synth 提出了一种新颖的文本到图像生成框架，通过跨字幕循环一致性学习，利用每张图像的多个字幕，提升了图像质量和多样性。通过采用级联和循环架构，基于互补字幕信息迭代优化图像特征，该方法在 CUB 和 Oxford-102 数据集上实现了最先进（SOTA）的 inception 分数，并实现了对未见类别的零样本泛化能力。

ABSTRACT

Generating an image from its description is a challenging task worth solving because of its numerous practical applications ranging from image editing to virtual reality. All existing methods use one single caption to generate a plausible image. A single caption by itself, can be limited, and may not be able to capture the variety of concepts and behavior that may be present in the image. We propose two deep generative models that generate an image by making use of multiple captions describing it. This is achieved by ensuring 'Cross-Caption Cycle Consistency' between the multiple captions and the generated image(s). We report quantitative and qualitative results on the standard Caltech-UCSD Birds (CUB) and Oxford-102 Flowers datasets to validate the efficacy of the proposed approach.

研究动机与目标

• 为解决单字幕文本到图像生成的语义局限性，通过利用每张图像的多个互补字幕。
• 通过建模跨字幕一致性，减少文本描述与视觉内容之间的语义差距。
• 开发一种可扩展的架构，能够适应可变数量的输入字幕，克服固定架构的限制。
• 通过利用字幕反馈迭代优化图像特征，生成更逼真、更丰富且细节更丰富的图像。

提出的方法

• C4Synth 在多个字幕与生成图像之间采用循环一致性损失，确保从字幕到图像以及从图像到字幕的映射保持语义保真度。
• 级联架构通过多个生成器-判别器对，按顺序处理字幕，每个生成器-判别器对均基于字幕嵌入和历史块进行条件控制。
• 循环变体 Recurrent-C4Synth 使用隐藏状态来保持对先前字幕处理的记忆，实现对可变字幕数量的动态适应。
• 采用条件生成对抗网络（GAN）生成 256×256 像素的图像，输入为文本嵌入。
• 通过循环映射 G₂∘F₂∘G₁∘F₁(t) ≈ t 强制实施跨字幕的循环一致性，确保字幕之间的语义一致性。
• 使用微调的 Inception 网络计算 inception 分数以进行定量评估。

Figure 1: The figure shows two images generated by C4Synth. The corresponding captions that are used while generating images are listed on the left side. (Best viewed in color.)

实验结果

研究问题

• RQ1 与单字幕方法相比，描述同一图像的多个字幕是否能提升生成图像的质量和多样性？
• RQ2 如何在深度生成模型中形式化并强制实施多个字幕之间的循环一致性学习，以实现文本到图像合成？
• RQ3 循环架构是否能有效处理可变数量的输入字幕，而无需架构约束？
• RQ4 该模型在零样本设置下对未见类别的泛化程度如何？

主要发现

• 在 Oxford-102 Flowers 数据集上，Recurrent-C4Synth 达到了 3.52 ± 0.15 的最先进 inception 分数，优于先前方法。
• 在 CUB 数据集上，Recurrent-C4Synth 达到了 4.07 ± 0.13 的 inception 分数，与先前最先进方法 HD-GAN 的性能非常接近。
• 在 CUB 和 Oxford-102 两个数据集上，Cascaded-C4Synth 和 Recurrent-C4Synth 均在 inception 分数上优于五种基线方法中的四种。
• 该模型展示了零样本泛化能力，在 CUB 和 Oxford-102 数据集上均能为训练期间未见的类别生成高质量图像。
• 定性结果表明，Recurrent-C4Synth 在时间步上逐步优化图像质量，每个字幕均对图像细节的改善有所贡献。
• 通过在相同字幕上使用不同的噪声向量，模型能够生成同一对象的不同风格化变体，包括不同姿态和背景。

(a) $Legend:\{\textbf{t}_{i}\}:\text{True Captions; }\{\hat{\textbf{t}}_{i}\}:\text{Generated Captions; }\{\hat{\textbf{I}}_{i}\}:\text{Generated Images; }\textbf{I}:\text{True Image; }\newline \text{CCCL: Cross-Caption Cycle Consistency Loss;}\text{ DL: Discriminator Loss.}$