[论文解读] Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System
PPTOD 将面向任务的对话任务统一为一个可插拔模型,通过对异构语料的多任务预训练,在端到端 TOD、DST 和意图分类的高资源与低资源设置中达到最先进的结果。
Pre-trained language models have been recently shown to benefit task-oriented dialogue (TOD) systems. Despite their success, existing methods often formulate this task as a cascaded generation problem which can lead to error accumulation across different sub-tasks and greater data annotation overhead. In this study, we present PPTOD, a unified plug-and-play model for task-oriented dialogue. In addition, we introduce a new dialogue multi-task pre-training strategy that allows the model to learn the primary TOD task completion skills from heterogeneous dialog corpora. We extensively test our model on three benchmark TOD tasks, including end-to-end dialogue modelling, dialogue state tracking, and intent classification. Experimental results show that PPTOD achieves new state of the art on all evaluated tasks in both high-resource and low-resource scenarios. Furthermore, comparisons against previous SOTA methods show that the responses generated by PPTOD are more factually correct and semantically coherent as judged by human annotators.
研究动机与目标
- 推动减少在级联 TOD 系统中的错误传播和标注开销。
- 通过多任务预训练从异质对话数据中学习主要的 TOD 技能。
- 实现并行任务输出以降低延迟并提升鲁棒性。
- 提供一个统一模型,能够对具有部分注释的新 TOD 任务进行微调。
提出的方法
- 使用任务特定提示将多个 TOD 任务(NLU、DST、POL、NLG)转化为单一文本生成问题。
- 在包含 80 个领域、总计超过 2.3M 句子的11个对话数据集的异质语料库上进行预训练。
- 在下游 TOD 任务上使用相同目标和基于提示条件输入进行微调。
- 在高资源和低资源设置下评估 PPTOD 在端到端对话建模、DST 和意图分类方面的表现。
- 比较可插拔生成与级联生成,并分析数据库(DB)定位对性能和延迟的影响。
实验结果
研究问题
- RQ1一个统一的、以提示为驱动的多任务预训练模型是否能够在 TOD 子任务上取得最先进的结果?
- RQ2多任务预训练是否能够从部分注释数据中学习,并降低每个子任务的数据需求?
- RQ3可插拔、并行生成的方法是否在保持或提高准确性的同时降低推断时延?
- RQ4将数据库状态作为依据的接地在端到端 TOD 和 DST 的性能上有何影响?
- RQ5在不同资源条件下,PPTOD 的规模(small/base/large)的收益与局限性是什么?
主要发现
- PPTOD 在 MultiWOZ 2.0/2.1 的端到端 TOD 的八项指标中有七项达到最先进的性能。
- 在低资源设置中,PPTOD 始终优于强基线,在 DST 和端到端任务的 1% 训练数据下有显著提升。
- 以 PPTOD 的 1% DST 设置在准确率上比最强基线 SOLOIST 高出约 18 点。
- 带有 DB 接地的可插拔生成在端到端任务中获得更高的综合分数,且比强大的级联模型(MinTL)快约 4 倍。
- 在 80 个领域、2.3M 句子上进行预训练,使用 T5 主干网络,能够实现强跨任务迁移,并从部分注释数据中受益。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。