[论文解读] Generating Diverse and Accurate Visual Captions by Comparative Adversarial Learning

Dianqi Li, Qiuyuan Huang+3 more|arXiv (Cornell University)|Apr 3, 2018

Multimodal Machine Learning Applications参考文献 42被引用 43

一句话总结

论文提出一个比较对抗学习（CAL）框架，使用比较相关判别器和策略梯度训练，生成在图像之间既准确又多样的描述，在多样性方面优于基线并符合人类判断。

ABSTRACT

We study how to generate captions that are not only accurate in describing an image but also discriminative across different images. The problem is both fundamental and interesting, as most machine-generated captions, despite phenomenal research progresses in the past several years, are expressed in a very monotonic and featureless format. While such captions are normally accurate, they often lack important characteristics in human languages - distinctiveness for each caption and diversity for different images. To address this problem, we propose a novel conditional generative adversarial network for generating diverse captions across images. Instead of estimating the quality of a caption solely on one image, the proposed comparative adversarial learning framework better assesses the quality of captions by comparing a set of captions within the image-caption joint space. By contrasting with human-written captions and image-mismatched captions, the caption generator effectively exploits the inherent characteristics of human languages, and generates more discriminative captions. We show that our proposed network is capable of producing accurate and diverse captions across images.

研究动机与目标

• 推动生成的描述不仅要准确，还要在跨图像之间具有多样性。
• 引入一种新颖的用于图像描述的比较对抗学习框架。
• 利用比较相关判别器引导描述生成器向人类风格的多样性靠近。
• 提出一个语义层面的描述多样性度量，用以评估跨图像的多样性。
• 在 MSCOCO 上展示相较基线改进的多样性和具有竞争力的准确性。

提出的方法

• 提出一个基于编码-解码器架构的描述生成器 G，它可以通过随机输入 z 引入随机变化。
• 提出一个比较相关判别器 D，它通过在图像-描述联合空间中将候选描述与人类撰写的描述以及不相关的描述进行比较来排序描述。
• 使用描述嵌入与图像特征之间余弦相似度的 softmax（方程式 3）定义比较相关分数（cr-score）。
• 使用 K 次 rollout 模拟，通过策略梯度对 G 进行训练，以近似每个生成的标记的中间奖励 Q（方程 5–8）。
• 在联合对抗训练之前，先用 MLE 预训练 G，并用比较目标预训练 D，使用 rollout 大小 K 和 softmax 缩放的 γ 参数。

实验结果

研究问题

• RQ1 比较对抗学习是否能在保持准确性的同时提升跨图像的描述多样性？
• RQ2 在比较集合中加入人类撰写的描述是否有助于判别器为生成器提供更丰富的奖励？
• RQ3 就多样性及自动/人工评估的质量而言，CAL 相较于二元判别器（G-GAN）与标准 MLE 的表现如何？
• RQ4 语义层面的多样性度量在捕捉跨图像的多样性方面是否有效？
• RQ5 采样、噪声向量和比较判别器等组件对多样性有何影响？

主要发现

• 根据自动指标，CAL 在 MSCOCO 测试集上实现比基线更高的多样性，同时保持具有竞争力的准确性。
• 人工评估显示 CAL 的描述相较于 MLE 和 G-GAN 的描述更受偏好，且 CAL 提供更接近人类的描述。
• CAL 提高了描述-图像检索召回率，优于 G-GAN 和 MLE，表明更好的判别性和多样性。
• 基于描述嵌入特征的语义层面多样性度量能够捕捉跨图像的多样性，并显示 CAL 的优越性。
• 消融研究证实比较判别器和基于 rollout 的奖励在提升多样性方面的益处。