[论文解读] Generate the corresponding Image from Text Description using Modified GAN-CLS Algorithm

Fuzhou Gong, Zigeng Xia|arXiv (Cornell University)|Jun 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 1被引用 4

一句话总结

本文提出了一种改进的 GAN-CLS 算法，修正了原始 GAN-CLS 目标函数中的理论缺陷，确保生成器能够学习真实的数据分布。在 Oxford-102 和 CUB 数据集上的实验表明，改进后的模型生成的图像更具可信度且与文本更对齐，尤其在捕捉细小细节（如鸟喙形状和颜色图案）方面表现更优。

ABSTRACT

Synthesizing images or texts automatically is a useful research area in the artificial intelligence nowadays. Generative adversarial networks (GANs), which are proposed by Goodfellow in 2014, make this task to be done more efficiently by using deep neural networks. We consider generating corresponding images from an input text description using a GAN. In this paper, we analyze the GAN-CLS algorithm, which is a kind of advanced method of GAN proposed by Scott Reed in 2016. First, we find the problem with this algorithm through inference. Then we correct the GAN-CLS algorithm according to the inference by modifying the objective function of the model. Finally, we do the experiments on the Oxford-102 dataset and the CUB dataset. As a result, our modified algorithm can generate images which are more plausible than the GAN-CLS algorithm in some cases. Also, some of the generated images match the input texts better.

研究动机与目标

• 解决 GAN-CLS 算法中一个理论上的不一致问题，即最优生成器分布与真实数据分布不匹配。
• 修正 GAN-CLS 的目标函数，确保在收敛时生成器输出与数据分布一致。
• 在文本到图像生成任务中，展示改进后的图像质量和文本-图像对齐性的提升。
• 在标准基准数据集（Oxford-102 和 CUB 数据集）上验证改进算法的性能。
• 研究改进模型在分布偏移情况下的鲁棒性，例如存在扰动的不匹配图像对。

提出的方法

• 通过理论分析识别 GAN-CLS 目标函数中的缺陷，表明最优生成器分布与真实数据分布不一致。
• 推导出一个修正后的目标函数，强制生成器输出与真实数据分布一致，确保在收敛时满足 $ f_g(y) = f_d(y) $。
• 通过调整不匹配图像-文本对对损失函数的贡献，改进 GAN-CLS 损失，使生成器输出与数据分布对齐。
• 使用带有预训练文本编码器的条件 GAN 框架训练改进后的 GAN-CLS 模型，以生成图像-文本嵌入。
• 采用判别器，同时评估匹配与不匹配的图像-文本对，损失函数包含真实匹配对、生成对以及不匹配对的损失分量。
• 在 Oxford-102 和 CUB 数据集上应用改进算法，使用标准评估协议，并与原始 GAN-CLS 进行定性对比。

实验结果

研究问题

• RQ1 GAN-CLS 算法是否收敛到与真实数据分布匹配的生成器？
• RQ2 GAN-CLS 中分布不匹配的理论原因是什么？如何进行修正？
• RQ3 能否通过修改目标函数使生成器恢复生成真实数据分布样本的能力？
• RQ4 与原始 GAN-CLS 相比，改进后的 GAN-CLS 在生成图像-文本对齐样本方面表现如何？
• RQ5 当不匹配对的分布与真实数据分布显著不同时，改进后的算法是否仍具有鲁棒性？

主要发现

• 理论分析证明，原始 GAN-CLS 算法不会收敛到与真实数据分布匹配的生成器，因为 $ f_g(y) = 2f_d(y) - f_{\hat{d}}(y) $，而非 $ f_g(y) = f_d(y) $。
• 改进后的 GAN-CLS 算法确保生成器学习真实数据分布，收敛时满足 $ f_g(y) = f_d(y) $。
• 在 Oxford-102 数据集上，改进算法生成的花朵更具可信度，花瓣边界更清晰，颜色表现更准确。
• 在 CUB 数据集上，改进模型更准确地捕捉了鸟喙形状、翅膀颜色和头部图案等更精细的细节，优于 GAN-CLS。
• 在存在扰动的不匹配图像对（如分割并重新组合的图像）情况下，改进算法保持性能稳定，而原始 GAN-CLS 无法生成连贯图像。
• 改进算法在未见文本描述上的泛化能力良好，能生成可信且语义对齐的图像。