[论文解读] Simulated Chats for Task-oriented Dialog: Learning to Generate Conversations from Instructions.

Biswesh Mohapatra, Gaurav Pandey+2 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 19被引用 8

一句话总结

本文提出了一种基于 GPT-2 的仿真框架，通过模拟众包数据收集过程生成任务导向型对话，利用少量真实人类生成的对话和指令来训练用户和智能体机器人。该方法显著提升了低资源和整体任务性能，是首个完全模拟众包过程以生成对话数据的方法。

ABSTRACT

Popular task-oriented dialog data sets such as MultiWOZ (Budzianowski et al. 2018) are created by providing crowd-sourced workers a goal instruction, expressed in natural language, that describes the task to be accomplished. Crowd-sourced workers play the role of a user and an agent to generate dialogs to accomplish tasks involving booking restaurant tables, making train reservations, calling a taxi etc. However, creating large crowd-sourced datasets can be time consuming and expensive. To reduce the cost associated with generating such dialog datasets, recent work has explored methods to automatically create larger datasets from small this http URL this paper, we present a data creation strategy that uses the pre-trained language model, GPT2 (Radford et al. 2018), to simulate the interaction between crowd-sourced workers by creating a user bot and an agent bot. We train the simulators using a smaller percentage of actual crowd-generated conversations and their corresponding goal instructions. We demonstrate that by using the simulated data, we achieve significant improvements in both low-resource setting as well as in over-all task performance. To the best of our knowledge we are the first to present a model for generating entire conversations by simulating the crowd-sourced data collection process

研究动机与目标

• 通过模拟众包过程，降低大规模任务导向型对话数据集创建的成本和时间。
• 解决人工标注对话数据收集过程中的高成本和可扩展性限制问题。
• 探究由语言模型生成的合成对话是否能有效补充真实的人类生成数据。
• 通过使用模拟对话作为训练数据，提升模型在低资源设置下的性能。
• 证明仅通过指令即可模拟人类交互角色（用户和智能体），从而生成完整对话的可行性。

提出的方法

• 通过在少量真实人类生成对话及其对应目标指令上微调 GPT-2，使其分别扮演用户机器人和智能体机器人。
• 使用预训练语言模型模拟用户与智能体之间的交互，生成模仿真实众包对话的完整对话。
• 仅使用实际众包对话的一小部分进行模拟器训练，从而降低对人工标注的依赖。
• 通过向用户和智能体机器人提供目标指令进行提示，生成合成对话，实现可扩展的数据生成。
• 使用模拟对话对下游任务导向型对话模型进行预训练或微调。
• 在低资源和全数据设置下，评估混合使用真实与模拟数据训练的模型性能。

实验结果

研究问题

• RQ1 语言模型能否模拟众包过程，生成逼真的任务导向型对话？
• RQ2 模拟数据在提升低资源设置下模型性能方面的有效性如何？
• RQ3 将模拟数据与真实数据结合，是否能带来优于仅使用真实数据的整体性能提升？
• RQ4 模拟对话能否泛化到未见过的任务，并保持与真实人类交互的一致性？
• RQ5 真实数据与模拟数据比例的变化对模型性能有何影响？

主要发现

• 该方法通过利用模拟对话，在低资源设置下实现了显著的性能提升。
• 在低资源和全数据场景下，使用真实与模拟数据混合训练的模型，其性能均优于仅使用真实数据训练的模型。
• 模拟对话在提升模型泛化能力、减少对昂贵人工标注数据依赖方面具有显著效果。
• 该方法是首个使用语言模型完全模拟众包过程以生成任务导向型对话数据的方法。
• 在少量真实对话上微调 GPT-2，可生成高质量的合成对话，对下游训练具有实际价值。
• 该方法在降低数据收集成本的同时，保持或提升了各类评估指标下的模型性能。