Skip to main content
QUICK REVIEW

[论文解读] Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System

Yixuan Su, Lei Shu|arXiv (Cornell University)|Sep 29, 2021
Topic ModelingComputer Science被引用 57
一句话总结

PPTOD 将面向任务的对话任务统一为一个可插拔模型,通过对异构语料的多任务预训练,在端到端 TOD、DST 和意图分类的高资源与低资源设置中达到最先进的结果。

ABSTRACT

Pre-trained language models have been recently shown to benefit task-oriented dialogue (TOD) systems. Despite their success, existing methods often formulate this task as a cascaded generation problem which can lead to error accumulation across different sub-tasks and greater data annotation overhead. In this study, we present PPTOD, a unified plug-and-play model for task-oriented dialogue. In addition, we introduce a new dialogue multi-task pre-training strategy that allows the model to learn the primary TOD task completion skills from heterogeneous dialog corpora. We extensively test our model on three benchmark TOD tasks, including end-to-end dialogue modelling, dialogue state tracking, and intent classification. Experimental results show that PPTOD achieves new state of the art on all evaluated tasks in both high-resource and low-resource scenarios. Furthermore, comparisons against previous SOTA methods show that the responses generated by PPTOD are more factually correct and semantically coherent as judged by human annotators.

研究动机与目标

  • 推动减少在级联 TOD 系统中的错误传播和标注开销。
  • 通过多任务预训练从异质对话数据中学习主要的 TOD 技能。
  • 实现并行任务输出以降低延迟并提升鲁棒性。
  • 提供一个统一模型,能够对具有部分注释的新 TOD 任务进行微调。

提出的方法

  • 使用任务特定提示将多个 TOD 任务(NLU、DST、POL、NLG)转化为单一文本生成问题。
  • 在包含 80 个领域、总计超过 2.3M 句子的11个对话数据集的异质语料库上进行预训练。
  • 在下游 TOD 任务上使用相同目标和基于提示条件输入进行微调。
  • 在高资源和低资源设置下评估 PPTOD 在端到端对话建模、DST 和意图分类方面的表现。
  • 比较可插拔生成与级联生成,并分析数据库(DB)定位对性能和延迟的影响。

实验结果

研究问题

  • RQ1一个统一的、以提示为驱动的多任务预训练模型是否能够在 TOD 子任务上取得最先进的结果?
  • RQ2多任务预训练是否能够从部分注释数据中学习,并降低每个子任务的数据需求?
  • RQ3可插拔、并行生成的方法是否在保持或提高准确性的同时降低推断时延?
  • RQ4将数据库状态作为依据的接地在端到端 TOD 和 DST 的性能上有何影响?
  • RQ5在不同资源条件下,PPTOD 的规模(small/base/large)的收益与局限性是什么?

主要发现

  • PPTOD 在 MultiWOZ 2.0/2.1 的端到端 TOD 的八项指标中有七项达到最先进的性能。
  • 在低资源设置中,PPTOD 始终优于强基线,在 DST 和端到端任务的 1% 训练数据下有显著提升。
  • 以 PPTOD 的 1% DST 设置在准确率上比最强基线 SOLOIST 高出约 18 点。
  • 带有 DB 接地的可插拔生成在端到端任务中获得更高的综合分数,且比强大的级联模型(MinTL)快约 4 倍。
  • 在 80 个领域、2.3M 句子上进行预训练,使用 T5 主干网络,能够实现强跨任务迁移,并从部分注释数据中受益。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。