[论文解读] SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching

Baolin Peng, Chunyuan Li+4 more|arXiv (Cornell University)|May 11, 2020

Topic Modeling参考文献 56被引用 99

一句话总结

SOLOIST 使用一个在多样化对话数据上预训练的单一 Transformer 模型构建面向任务的对话机器人，并通过机器教学进行微调，在少样本场景中实现了最新的结果且降低了标注成本。

ABSTRACT

We present a new method SOLOIST that uses transfer learning and machine teaching to build task bots at scale. We parameterize classical modular task-oriented dialog systems using a Transformer-based auto-regressive language model, which subsumes different dialog modules into a single neural model. We pre-train, on heterogeneous dialog corpora, a task-grounded response generation model, which can generate dialog responses grounded in user goals and real-world knowledge for task completion. The pre-trained model can be efficiently adapted to accomplish new tasks with a handful of task-specific dialogs via machine teaching, where training samples are generated by human teachers interacting with the system. Experiments show that (i) SOLOIST creates new state-of-the-art on well-studied task-oriented dialog benchmarks, including CamRest676 and MultiWOZ; (ii) in the few-shot fine-tuning settings, SOLOIST significantly outperforms existing methods, and (iii) the use of machine teaching substantially reduces the labeling cost of fine-tuning. The pre-trained models and codes are available at https://aka.ms/soloist.

研究动机与目标

• 通过使用一个单一的、预训练的模型来简化构建大量任务型机器人 的工作流。
• 将 NLU、DST、POL 和 NLG 融合到一个基于 Transformer 的体系结构中。
• 在异质对话语料库上利用面向任务的预训练。
• 通过机器教学在少量任务特定数据下对新任务进行微调。
• 在少样本设置中展示了最先进的性能和降低的标注成本。

提出的方法

• 将模块化的面向任务的对话参数化为基于 Transformer 的自回归模型。
• 在异质对话数据上预训练一个面向任务的响应生成模型，学习信念追踪与有据的回应。
• 将训练目标分解为信念预测和有据的回应生成，并采用对比目标。
• 实现将 L_theta 与 L_B、L_R、L_C 结合的多任务预训练目标。
• 在新任务上用少量对话进行微调；应用机器教学以生成纠正性训练样本。
• 在解码时使用核采样并使用更大模型变体以提升少样本学习。

实验结果

研究问题

• RQ1 在标准任务型对话基准测试中，SOLOIST 相对于最先进方法的表现如何？
• RQ2 在少样本微调设置下，SOLOIST 能否有效地泛化到新领域？
• RQ3 机器教学在对任务机器人进行微调并降低标注成本方面有多大效果？
• RQ4 模型规模对少样本迁移性能的影响是什么？
• RQ5 面向任务的预训练在实现端到端定位与状态追踪中的作用是什么？

主要发现

• SOLOIST 在 CamRest676 和 MultiWOZ 基准上取得了最先进的结果。
• 在少样本微调设置中，SOLOIST 显著优于现有方法。
• 机器教学在微调阶段显著降低了标注成本。
• 更大的模型（SOLOIST-L）在少样本场景中始终优于基线模型。
• SOLOIST 在意图分类、槽位填充和对话状态追踪等组件任务上保持强劲性能。
• 与基线相比，SOLOIST 在提供强端到端性能的同时需要更少的领域特定标注。