[论文解读] End-to-end optimization of goal-driven and visually grounded dialogue systems

Florian Strub, Harm de Vries+4 more|arXiv (Cornell University)|Mar 15, 2017

Speech and dialogue systems参考文献 26被引用 32

一句话总结

本文提出了一种端到端的深度强化学习（DRL）框架，用于训练以目标为导向、视觉对齐的对话系统，通过GuessWhat?!任务在图像中定位对象，方法通过在大规模人类-人类对话数据集上训练策略梯度智能体，相较于监督基线模型，任务完成率提升了10%，在无需显式奖励塑形的情况下，学习到了连贯、对齐视觉且高效的对话策略。

ABSTRACT

End-to-end design of dialogue systems has recently become a popular research topic thanks to powerful tools such as encoder-decoder architectures for sequence-to-sequence learning. Yet, most current approaches cast human-machine dialogue management as a supervised learning problem, aiming at predicting the next utterance of a participant given the full history of the dialogue. This vision is too simplistic to render the intrinsic planning problem inherent to dialogue as well as its grounded nature, making the context of a dialogue larger than the sole history. This is why only chit-chat and question answering tasks have been addressed so far using end-to-end architectures. In this paper, we introduce a Deep Reinforcement Learning method to optimize visually grounded task-oriented dialogues, based on the policy gradient algorithm. This approach is tested on a dataset of 120k dialogues collected through Mechanical Turk and provides encouraging results at solving both the problem of generating natural dialogues and the task of discovering a specific object in a complex picture.

研究动机与目标

• 为解决监督学习在对话系统中的局限性，其无法有效建模任务导向对话中的长期规划与上下文对齐。
• 开发一种端到端的强化学习框架，利用真实的人类-人类对话数据，优化多模态、目标导向任务的对话策略。
• 使对话智能体能够学习到有效、对齐视觉且高效的提问策略，而无需依赖预定义模板或槽位填充结构。
• 从任务完成率、对话连贯性以及对未见对象和图像的泛化能力等方面评估系统性能。

提出的方法

• 该方法使用编码器-解码器架构的序列到序列神经网络，生成自然语言问题。
• 通过REINFORCE策略梯度算法训练深度强化学习智能体，基于任务完成奖励优化对话策略。
• 从通过Mechanical Turk收集的15万条人类-人类对话大规模数据集中构建模拟环境，支持DRL智能体的在线训练。
• 智能体通过学习提出相关、对齐视觉的问题，逐步缩小视觉场景中目标对象的范围，以最大化任务成功率。
• 训练过程结合采样和贪婪解码策略进行探索，性能通过人工标注的成功度量进行评估。
• 系统通过自动指标（新对象和图像上的准确率）以及生成对话序列的定性分析进行评估。

实验结果

研究问题

• RQ1 基于DRL的智能体是否能在仅依赖对话历史的监督微调之外，学习生成连贯、目标导向且视觉对齐的对话？
• RQ2 在多模态、任务导向的对话任务中，端到端DRL相较于监督学习基线，在任务完成准确率和对话策略质量方面表现如何？
• RQ3 DRL智能体在多大程度上能学会在最优时机停止提问，避免冗余或噪声过大的查询？
• RQ4 与监督基线相比，DRL智能体是否展现出更高效、更多样化的词汇使用，尤其是在对未见图像和对象的泛化能力方面？
• RQ5 智能体是否能以符合人类对话策略的方式，恰当地使用空间和类别线索（例如：'它是一个人吗？'、'它在左边吗？'）？

主要发现

• 基于REINFORCE的DRL智能体在测试集上的任务完成准确率达到62.0%，相较于监督基线（45.0%）提升了10%，相较于束搜索（53.0%）提升了9%。
• 在未见对象上，REINFORCE智能体达到63.2%的准确率，显著优于基线（46.4%）和束搜索（53.4%）在相同测试集上的表现。
• DRL智能体平均在4.1轮提问后停止，表明其在无需显式奖励塑形的情况下，有效控制了对话长度。
• REINFORCE智能体使用的词汇表更紧凑（1,194个唯一词汇），相比监督基线（2,893个词汇）显示出更好的泛化能力与更低的冗余性。
• 定性分析表明，DRL智能体生成的问题更具连贯性、视觉对齐性与上下文相关性，例如'它是一个人吗？'或'它在左边吗？'，而监督基线则常重复问题或生成不连贯的序列。
• 束搜索基线由于长度归一化的对数似然偏差，未能有效终止对话；而基于采样的DRL模型解码则成功实现了对话终止，表明策略已学会在合适时机停止。