[论文解读] Making History Matter: History-Advantage Sequence Training for Visual Dialog

Tianhao Yang, Zheng-Jun Zha+1 more|arXiv (Cornell University)|Feb 25, 2019

Multimodal Machine Learning Applications参考文献 47被引用 13

一句话总结

本文提出历史优势序列训练（HAST），一种受强化学习启发的新颖训练范式，通过显式建模错误历史回答对未来响应的影响，提升视觉对话生成性能。通过计算黄金奖励（GR）与负面评论者（AC）奖励之差作为‘历史优势’（HA）信号，HAST使模型对对话历史更加敏感，在VisDial v0.9/v1.0和GuessWhat?!基准上实现最先进性能，R@1提升1个百分点，MRR提升1%。

ABSTRACT

We study the multi-round response generation in visual dialog, where a response is generated according to a visually grounded conversational history. Given a triplet: an image, Q&A history, and current question, all the prevailing methods follow a codec (i.e., encoder-decoder) fashion in a supervised learning paradigm: a multimodal encoder encodes the triplet into a feature vector, which is then fed into the decoder for the current answer generation, supervised by the ground-truth. However, this conventional supervised learning does NOT take into account the impact of imperfect history, violating the conversational nature of visual dialog and thus making the codec more inclined to learn history bias but not contextual reasoning. To this end, inspired by the actor-critic policy gradient in reinforcement learning, we propose a novel training paradigm called History Advantage Sequence Training (HAST). Specifically, we intentionally impose wrong answers in the history, obtaining an adverse critic, and see how the historic error impacts the codec's future behavior by History Advantage-a quantity obtained by subtracting the adverse critic from the gold reward of ground-truth history. Moreover, to make the codec more sensitive to the history, we propose a novel attention network called History-Aware Co-Attention Network (HACAN) which can be effectively trained by using HAST. Experimental results on three benchmarks: VisDial v0.9&v1.0 and GuessWhat?!, show that the proposed HAST strategy consistently outperforms the state-of-the-art supervised counterparts.

研究动机与目标

• 为解决传统监督视觉对话训练的局限性，即仅依赖真实历史，无法教会模型错误历史如何影响未来响应。
• 通过模拟错误回答的后果，提升模型对对话历史的敏感度，特别是共指消解和上下文推理能力。
• 设计一种更能捕捉视觉对话对话动态的训练范式，超越简单监督，引入错误感知学习。
• 设计一种新型注意力机制——历史感知协同注意力网络（HACAN），有效整合历史感知特征以提升推理能力。
• 通过结合HAST与HACAN，在VisDial和GuessWhat?!基准上实现最先进性能。

提出的方法

• HAST引入一种新颖的训练信号——历史优势（HA），其计算方式为正确历史的黄金奖励（GR）与虚假历史中错误回答的负面评论者（AC）奖励之差。
• 模型使用HA作为奖励信号进行训练，正向HA表示错误回答显著损害未来表现，从而强化正确响应的学习。
• 提出历史感知协同注意力网络（HACAN），结合特征级协同注意力（FCA）与元素级协同注意力（ECA）模块，以更好地对齐上下文中的视觉与语言表征。
• HACAN利用基于对话历史的历史感知门控机制，动态调节注意力，增强上下文感知能力。
• 训练过程维护两条并行对话流：一条使用真实答案，另一条使用故意污染的答案，以计算未来回合的HA。
• HAST端到端应用于序列到序列框架，使模型能够学习对话历史错误的长期影响。

实验结果

研究问题

• RQ1 当模型训练时考虑错误对话历史的影响，而非仅依赖真实监督时，其性能如何变化？
• RQ2 能否通过显式学习错误回答的后果，使模型对对话历史更加敏感？
• RQ3 历史优势信号在多大程度上改善了视觉对话中的推理与共指消解？
• RQ4 所提出的HACAN架构与HAST结合后，是否在标准视觉对话基准上带来更好的性能？
• RQ5 模型在涉及对话历史错误的零样本或少样本设置下，泛化能力如何？

主要发现

• HAST在官方VisDial在线挑战服务器上实现了新的单模型最先进性能，超越先前方法。
• 在VisDial v1.0上，HACAN结合HAST达到51.20% R@1，较之前最先进方法提升1个百分点，平均误差降低0.28点至4.25。
• 在VisDial v0.9上，模型达到0.6445 MRR与51.20% R@1，显著优于HCIAE与HRED等基线模型。
• 消融实验表明，仅使用HAST即可使MRR提升0.5个百分点，R@1提升1个百分点以上，相较于无HAST的模型。
• 在GuessWhat?!猜谜者任务上，HACAN结合HAST达到33.2%测试误差，优于LSTM基线模型，并与最佳先前方法持平。
• 消融实验进一步确认HACAN中的FCA与ECA模块均不可或缺，完整模型相较HACAN无HAST设置，平均误差降低0.88点。