[论文解读] Building a Conversational Agent Overnight with Dialogue Self-Play

Pararth Shah, Dilek Hakkani‐Tür+5 more|arXiv (Cornell University)|Jan 15, 2018

Topic Modeling参考文献 17被引用 161

一句话总结

本文提出了 M2M 框架，将自动自我对弈与众包结合起来，在数小时内快速自举端到端的目标导向对话代理，生成多样且高质量的数据集。它构建了一个由任务架构和 API 客户端驱动的与任务无关的流水线，用以生成大纲，然后由众包人员将大纲改写为用于训练的自然语言对话。

ABSTRACT

We propose Machines Talking To Machines (M2M), a framework combining automation and crowdsourcing to rapidly bootstrap end-to-end dialogue agents for goal-oriented dialogues in arbitrary domains. M2M scales to new tasks with just a task schema and an API client from the dialogue system developer, but it is also customizable to cater to task-specific interactions. Compared to the Wizard-of-Oz approach for data collection, M2M achieves greater diversity and coverage of salient dialogue flows while maintaining the naturalness of individual utterances. In the first phase, a simulated user bot and a domain-agnostic system bot converse to exhaustively generate dialogue "outlines", i.e. sequences of template utterances and their semantic parses. In the second phase, crowd workers provide contextual rewrites of the dialogues to make the utterances more natural while preserving their meaning. The entire process can finish within a few hours. We propose a new corpus of 3,000 dialogues spanning 2 domains collected with M2M, and present comparisons with popular dialogue datasets on the quality and diversity of the surface forms and dialogue flows.

研究动机与目标

• 说明在无需大量人工数据收集的情况下，快速为新任务自举目标导向对话代理的必要性。
• 提出一个数据高效的框架，在降低众包工作量的同时提高对话的多样性和覆盖度。
• 引入一个两阶段过程，先通过自我对弈生成对话大纲，然后通过改述任务将其转换为自然语言。
• 提供一个数据集及经验评估，将 M2M 生成的数据与现有对话数据集进行比较，以证明质量和多样性的提升。

提出的方法

• 定义一个任务规范，包括基于槽的模式 S 和用于查询候选实体的 API 客户端 C。
• 通过议程型用户模拟器与有限状态系统机器人之间的自我对弈生成大纲 o，以探索对话流程。
• 通过通用领域模板话语生成器将每个大纲转换为自然语言对话。
• 在情境改写任务中，由众包工作者将每个模板话语改述为自然、自然语言的表述 u。
• 用插槽范围和语义对改述后的话语进行验证和标注，可选地结合主动学习反馈进行更正。
• 可选地通过采样更多大纲并重复使用改述映射来合成额外的对话，以扩展数据。

实验结果

研究问题

• RQ1 如何将自动自我对弈与众包结合起来，快速生成高质量、多样且与任务相关的对话数据集？
• RQ2 与传统众包方法如 Wizard-of-Oz 或技能级数据收集相比，M2M 是否提供更好的对话语言与流程覆盖？
• RQ3 生成的数据集是否能够有效训练针对目标导向任务的模块化和端到端对话模型？
• RQ4 使用 M2M 自举新任务数据集时的实际成本与时间节省是多少？

主要发现

• M2M 相较于类似 DSTC2 的餐厅数据集，产生了更高的语言多样性和更丰富的对话流程（例如每回合的独特转换和子对话更多）。
• 该框架通过自我对弈加众包改述，在两个领域（餐厅与电影票务）生成了 3,000 条对话语料库。
• 众包工作者通过情境改写提供自然语言改述，使话语的语义和槽位值的标注更高效。
• 这一综合方法使数据集构建和模型训练在数小时内完成，且众包工人的质量评价显示对用户和系统端的回合均具备有利属性。
• M2M 数据集支持状态追踪、语言理解、策略与生成组件的训练，并可用于通过强化学习自举端到端模型。