[论文解读] ToD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogues

Chien-Sheng Wu, Steven C. H. Hoi+2 more|arXiv (Cornell University)|Apr 15, 2020

Topic Modeling参考文献 40被引用 53

一句话总结

ToD-BERT 是一种在九个公开可用的多轮、人类对人类任务导向对话数据集上微调的预训练语言模型，旨在解决对话系统中的数据稀缺问题。它在四个下游任务导向自然语言处理任务中均优于 BERT 和强基线模型，并展现出优越的 few-shot 泛化能力，有效缓解了数据稀缺问题。

ABSTRACT

The use of pre-trained language models has emerged as a promising direction for improving dialogue systems. However, the underlying difference of linguistic patterns between conversational data and general text makes the existing pre-trained language models not as effective as they have been shown to be. Recently, there are some pre-training approaches based on open-domain dialogues, leveraging large-scale social media data such as Twitter or Reddit. Pre-training for task-oriented dialogues, on the other hand, is rarely discussed because of the long-standing and crucial data scarcity problem. In this work, we combine nine English-based, human-human, multi-turn and publicly available task-oriented dialogue datasets to conduct language model pre-training. The experimental results show that our pre-trained task-oriented dialogue BERT (ToD-BERT) surpasses BERT and other strong baselines in four downstream task-oriented dialogue applications, including intention detection, dialogue state tracking, dialogue act prediction, and response selection. Moreover, in the simulated limited data experiments, we show that ToD-BERT has stronger few-shot capacity that can mitigate the data scarcity problem in task-oriented dialogues.

研究动机与目标

• 通过利用大规模、公开可用的对话数据集，解决任务导向对话系统中的数据稀缺问题。
• 克服通用预训练模型（如 BERT）在任务导向对话中因语言差异而效果较差的局限性。
• 开发一种针对任务导向对话语言模式量身定制的专用预训练模型，以提升下游任务性能。
• 展示该模型在低资源对话场景中通过 few-shot 学习能力减少对大规模标注数据集依赖的能力。

提出的方法

• 将九个基于英语的多轮、人类对人类任务导向对话数据集整合为统一的预训练语料库。
• 使用掩码语言建模和下一句预测目标，在该精选对话语料库上对 BERT 架构进行微调。
• 利用涵盖多种领域的多样化对话数据，以捕捉任务导向对话的语言模式。
• 应用标准预训练目标（MLM 和 NSP），并针对对话特定的上下文和轮次结构进行适配。
• 在四个下游任务导向对话任务上评估生成的 ToD-BERT 模型：意图检测、对话状态追踪、对话行为预测和响应选择。
• 通过模拟低资源实验，评估其与基线模型相比的 few-shot 泛化性能。

实验结果

研究问题

• RQ1 在多样化、公开可用的任务导向对话数据上微调的预训练语言模型，是否能在下游任务导向对话任务中超越通用模型（如 BERT）？
• RQ2 ToD-BERT 在低资源对话场景中，通过提升 few-shot 学习能力，能在多大程度上缓解数据稀缺问题？
• RQ3 在任务导向对话数据上进行预训练，如何提升意图检测、对话状态追踪、对话行为预测和响应选择的性能？
• RQ4 任务导向对话的语言特异性是否意味着需要领域特定的预训练，而非通用领域预训练？

主要发现

• ToD-BERT 在所有四个下游任务导向对话应用中均优于 BERT 和其他强基线模型：意图检测、对话状态追踪、对话行为预测和响应选择。
• 在模拟低数据场景中，ToD-BERT 展现出更强的 few-shot 泛化能力，表明其在缓解任务导向对话系统中数据稀缺问题方面的有效性。
• 由于在领域特定对话模式上的预训练，该模型在所评估的任务导向对话基准上实现了最先进性能。
• 在预训练过程中整合多样化、多领域、多轮对话数据，显著增强了模型对任务导向对话结构的理解能力。
• 结果证实，针对任务导向对话进行领域特定预训练是有益的，因为它能更好地捕捉此类对话的语言和结构特征。
• ToD-BERT 的性能提升在多个评估任务中保持一致，凸显其在多样化对话应用中的鲁棒性和可迁移性。