[论文解读] DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue

Shikib Mehri, Mihail Eric+1 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 27被引用 97

一句话总结

DialoGLUE 引入了一个公开基准，涵盖4个自然语言理解任务的7个任务导向对话数据集，并且通过ConvBERT和任务自适应训练的强基线显示出改进。

ABSTRACT

A long-standing goal of task-oriented dialogue research is the ability to flexibly adapt dialogue models to new domains. To progress research in this direction, we introduce DialoGLUE (Dialogue Language Understanding Evaluation), a public benchmark consisting of 7 task-oriented dialogue datasets covering 4 distinct natural language understanding tasks, designed to encourage dialogue research in representation-based transfer, domain adaptation, and sample-efficient task learning. We release several strong baseline models, demonstrating performance improvements over a vanilla BERT architecture and state-of-the-art results on 5 out of 7 tasks, by pre-training on a large open-domain dialogue corpus and task-adaptive self-supervised training. Through the DialoGLUE benchmark, the baseline methods, and our evaluation scripts, we hope to facilitate progress towards the goal of developing more general task-oriented dialogue models.

研究动机与目标

• 推动并实现跨多个领域和数据集的任务导向对话模型的一般化。
• 提供一个标准化的评估基准，以及公开可用的基线和排行榜资源。
• 展示开放域对话预训练和任务自适应自监督训练在迁移到任务导向任务上的有效性。

提出的方法

• 构建一个公开基准（DialoGLUE），覆盖在任务导向对话中4个NLU任务的7个数据集。
• 实现基于类似BERT的编码器的架构，用于意图预测、槽位填充、语义解析和对话状态跟踪。
• 通过在一个大型开放域对话语料库（≈700M 对话）上微调 BERT 来创建 ConvBERT。
• 在目标数据集上应用带任务自适应的掩码语言建模训练，包括预训练和多任务训练。
• 在四种设定下评估四种模型变体（BERT、ConvBERT、BERT-DG、ConvBERT-DG）（直接微调、MLM 预训练、MLM 多任务，以及两者结合）。
• 提供公开的评估脚本和 EvalAI 上的排行榜，包含开源代码和基线。

实验结果

研究问题

• RQ1 像 DialoGLUE 这样的标准化多任务基准是否能够推动向通用、便于迁移的任务导向对话模型的进展？
• RQ2 大规模开域对话预训练和任务自适应自监督训练是否在各种对话理解任务上提升性能？
• RQ3 不同的预训练和微调策略（预训练、多任务或两者都做）如何影响意图、槽位填充、语义解析和对话状态跟踪的性能？
• RQ4 在对多个 DialoGLUE 数据集进行训练时，是否存在可衡量的跨任务迁移？
• RQ5 少样本数据设置对自监督和迁移学习方法有效性的影响是什么？

主要发现

• DialoGLUE 提供了一个具有挑战性的、标准化的基准，覆盖 7 个数据集和 4 个任务，且有公开可获得的基线。
• ConvBERT 与任务自适应训练在 7 个任务中的 5 个上达到或超过最新的最先进结果，与先前最佳模型相比，在 MultiWOZ 上达到显著的 +2.98 joint-goal accuracy。
• Task-adaptive self-supervised training combined with open-domain dialogue pre-training yields aggregate gains across the DialoGLUE tasks, though gains are task-dependent.
• Self-supervised training on a broad DialoGLUE data mix can help in few-shot settings, with notable improvements on MultiWOZ and dialogue-state-tracking tasks.
• 在某些任务（TOP 和 DSTC8）中，专门的架构优于通用编码器，表明仍有针对任务的适配空间。
• Overall, the combination of ConvBERT and task-adaptive training provides the strongest aggregate performance across the benchmark.