[论文解读] Are You Talking to Me? Reasoned Visual Dialog Generation through Adversarial Learning

Qi Wu, Peng Wang+3 more|arXiv (Cornell University)|Nov 21, 2017

Multimodal Machine Learning Applications参考文献 41被引用 16

一句话总结

本文提出了一种新颖的对抗性学习框架，将生成对抗网络（GANs）与序列联合注意力机制相结合，以生成更具人类特征的视觉对话回复。通过训练判别器来评估回复及其关联的基于注意力的推理过程，生成器能够产生更加自然、上下文相关的回答，在VisDial基准测试中实现了最先进性能，相较于先前方法在recall@5上提升了2.14%。

ABSTRACT

The Visual Dialogue task requires an agent to engage in a conversation about an image with a human. It represents an extension of the Visual Question Answering task in that the agent needs to answer a question about an image, but it needs to do so in light of the previous dialogue that has taken place. The key challenge in Visual Dialogue is thus maintaining a consistent, and natural dialogue while continuing to answer questions correctly. We present a novel approach that combines Reinforcement Learning and Generative Adversarial Networks (GANs) to generate more human-like responses to questions. The GAN helps overcome the relative paucity of training data, and the tendency of the typical MLE-based approach to generate overly terse answers. Critically, the GAN is tightly integrated into the attention mechanism that generates human-interpretable reasons for each answer. This means that the discriminative model of the GAN has the task of assessing whether a candidate answer is generated by a human or not, given the provided reason. This is significant because it drives the generative model to produce high quality answers that are well supported by the associated reasoning. The method also generates the state-of-the-art results on the primary benchmark.

研究动机与目标

• 解决现有视觉对话模型因依赖最大似然估计（MLE）而生成过于简略、通用回复的局限性。
• 通过将对抗性学习与判别模型相结合，评估回复及其基于注意力的推理过程，以提升回复质量。
• 通过利用中间奖励与判别反馈，使生成器能够生成更加自然、上下文一致且类人的对话。
• 通过类图灵测试的人工评估实验，衡量模型生成回复的人类相似度，并在VisDial上与最先进方法进行对比。

提出的方法

• 采用序列联合注意力机制，联合关注图像特征、问题嵌入与对话历史，以生成上下文相关的表征。
• 生成器模型使用LSTM解码器，基于联合注意的多模态特征生成回复序列。
• 判别器被训练以区分人类生成与机器生成的对话，且可访问生成器的注意力权重，作为可解释性与推理依据。
• 通过蒙特卡洛搜索计算中间奖励，利用判别器提供的全局与逐步反馈，引导生成器优化。
• 在对抗性训练后，最终模型引入教师强制（teacher forcing）以进一步稳定并提升生成质量。
• 该框架通过强化学习进行端到端联合训练，判别器输出作为奖励信号以优化生成器。

实验结果

研究问题

• RQ1 对抗性学习是否能超越最大似然估计，在自然性与连贯性方面提升视觉对话回复质量？
• RQ2 向判别器提供生成器的注意力权重是否能提升生成回复的质量与可解释性？
• RQ3 在序列生成过程中引入中间奖励，是否能相比仅使用全局奖励，带来更好的回复多样性与流畅性？
• RQ4 生成的回复在多大程度上可通过人工评估，被判定为与人类书写对话无法区分？
• RQ5 在标准基准指标（如recall@5与准确率）上，所提方法与最先进模型相比表现如何？

主要发现

• 所提出的CoAtt-GAN-w/ R_inte-TF模型在VisDial v0.9数据集上相较先前最佳报告结果，recall@5提升了2.14%。
• 与强大的MLE基线模型CoAtt-G-MLE相比，该模型在recall@5上高出1.87%，证明了对抗性训练的有效性。
• 在人工评估中，49%的生成回复通过了类图灵测试，优于基线模型的46%，也高于记忆网络模型的39%。
• 45%的回复被人工评估者判定为优于或等同于人类书写回复，表明其具有高度的人类相似度。
• 判别器正确将70%的生成回复分类为类人回复，显著高于50%的随机基线，表明生成器成功“欺骗”了判别器。
• 消融实验表明，中间奖励（R_inte）对性能提升贡献最大，其次为教师强制，后者平均进一步提升0.5%。