[论文解读] A User Simulator for Task-Completion Dialogues

Xiujun Li, Zachary C. Lipton+4 more|arXiv (Cornell University)|Dec 17, 2016

Speech and dialogue systems参考文献 8被引用 140

一句话总结

本论文提出一个公共的、混合规则和模型的用户模拟器，用于电影-订票领域的任务完成对话，旨在促进基于强化学习的策略学习和经验代理比较。

ABSTRACT

Despite widespread interests in reinforcement-learning for task-oriented dialogue systems, several obstacles can frustrate research and development progress. First, reinforcement learners typically require interaction with the environment, so conventional dialogue corpora cannot be used directly. Second, each task presents specific challenges, requiring separate corpus of task-specific annotated data. Third, collecting and annotating human-machine or human-human conversations for task-oriented dialogues requires extensive domain knowledge. Because building an appropriate dataset can be both financially costly and time-consuming, one popular approach is to build a user simulator based upon a corpus of example dialogues. Then, one can train reinforcement learning agents in an online fashion as they interact with the simulator. Dialogue agents trained on these simulators can serve as an effective starting point. Once agents master the simulator, they may be deployed in a real environment to interact with humans, and continue to be trained online. To ease empirical algorithmic comparisons in dialogues, this paper introduces a new, publicly available simulation framework, where our simulator, designed for the movie-booking domain, leverages both rules and collected data. The simulator supports two tasks: movie ticket booking and movie seeking. Finally, we demonstrate several agents and detail the procedure to add and test your own agent in the proposed framework.

研究动机与目标

• 通过提供一个可重复使用的用户模拟器来激发和实现任务导向对话的强化学习。
• 提出一个结合议程驱动的用户建模与数据驱动的NLG的模拟器，以支持两项任务：电影票订票和电影检索。
• 提供一个框架和数据集，以方便对话策略和代理的经验比较。

提出的方法

• 使用一个议程式的、栈式的用户模型来表示并更新用户目标与对话历史。
• 在每轮从当前用户状态和上一个系统动作中生成用户行为，并在恰当时使用错误模型来模拟 NLU/NLP 的噪声。
• 采用一种混合自然语言生成方法，将基于模板的生成与序列到序列生成相结合，以获得鲁棒的话语。
• 在公共模拟框架和数据集中支持两个任务（电影票订票和电影检索）。
• 提供一个可扩展的代理和模拟器接口，便于接入自定义代理和模拟器。

实验结果

研究问题

• RQ1 如何设计一个可重复使用的、面向任务的用户模拟器，从而实现基于RL的对话策略学习和公平的代理比较？
• RQ2 一个混合（议程驱动加数据驱动）的用户仿真框架能否有效支持电影领域的任务完成对话？
• RQ3 在训练或测试策略学习时加入 NLU/NLG 噪声有哪些影响？
• RQ4 研究人员如何在所提框架内添加并测试他们自己的代理？

主要发现

• 该模拟器支持电影领域中的两种任务类型：票务订购和影片检索。
• 实验表明如何在模拟器上训练 RL 代理，并使用成功率、平均奖励和平均轮次等指标进行评估。
• 混合 NLG 方法（基于模板的+带束搜索的模型生成）有助于从对话行动生成自然话语。
• 在评估循环中未包含 NLU 时，使用错误模型来模拟 NLU 和槽位级噪声。
• 框架提供可运行的示例和代码库，以接入新的代理和用户模拟器。
• 作者讨论了权衡和未来方向，包括整合基于模型的仿真和处理用户目标变化。