[论文解读] RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems

Baolin Peng, Chunyuan Li+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 45被引用 7

一句话总结

RADDLE 是一个用于评估任务导向对话系统鲁棒性和泛化能力的基准与分析平台，重点关注低资源场景以及语言变体、语音错误和域外输入等多样化故障模式。实验表明，即使是最先进的模型在鲁棒性方面仍表现不佳，凸显了统一的、预训练架构在跨领域泛化和有效处理噪声输入方面的迫切需求。

ABSTRACT

For task-oriented dialog systems to be maximally useful, it must be able to process conversations in a way that is (1) generalizable with a small number of training examples for new task domains, and (2) robust to user input in various styles, modalities or domains. In pursuit of these goals, we introduce the RADDLE benchmark, a collection of corpora and tools for evaluating the performance of models across a diverse set of domains. By including tasks with limited training data, RADDLE is designed to favor and encourage models with a strong generalization ability. RADDLE also includes a diagnostic checklist that facilitates detailed robustness analysis in aspects such as language variations, speech errors, unseen entities, and out-of-domain utterances. We evaluate recent state-of-the-art systems based on pre-training and fine-tuning, and find that grounded pre-training on heterogeneous dialog corpora performs better than training a separate model per domain. Overall, existing models are less than satisfactory in robustness evaluation, which suggests opportunities for future improvement.

研究动机与目标

• 为解决缺乏在低资源、真实世界场景中评估对话系统的基准问题，这些场景通常标注数据有限。
• 实现对模型在语言变体、语音错误、未见实体和域外话语等方面鲁棒性的系统性评估。
• 通过共享的评估平台和诊断数据集，支持统一、可泛化的模型开发。
• 通过在线排行榜（包含人工评估）追踪对话系统研究的进展，对排名靠前的提交结果进行人工评估。

提出的方法

• RADDLE 引入了一个多领域基准，整合了来自不同来源的任务导向对话语料库，包括 DSTC-8、DSTC-9、Reddit 和 Twitter，以模拟真实世界中的分布偏移。
• 平台包含一个诊断评估数据集，包含 10,000 多个由人工标注的样本，涵盖语言变体、语音错误、未见实体和域外输入。
• 平台支持在少样本学习设置下进行评估，每个领域仅提供 10–50 个标注样本，以测试模型的泛化能力。
• 模型通过自动指标（如联合目标准确率、OOD 检测的 F1 分数）和人工评估进行评估，以衡量其在真实世界中的表现。
• 采用统一的预训练目标，联合学习跨领域的异构对话数据，提升模型的可迁移性。
• 在线评估平台支持模型提交、比较，并对排名靠前的系统进行每两个月一次的人工评估。

实验结果

研究问题

• RQ1 当仅有少量标注样本可用时，预训练模型在新领域上的泛化能力如何？
• RQ2 在零样本或少样本设置下，模型在处理语言变体、语音错误和未见实体方面的表现如何？
• RQ3 当在有限数据上训练时，不同模型在域外话语检测性能上的差异如何？
• RQ4 在鲁棒性场景下，自动评估与人工判断之间的差距有多大？
• RQ5 统一的、多领域预训练是否能在鲁棒性和泛化能力方面优于领域特定的微调？

主要发现

• 在异构对话语料上进行基于事实的预训练，相比为每个领域单独训练模型，在低数据设置下显著提升了泛化能力。
• 即使表现最佳的模型 Soloist，在未见实体上的联合目标准确率也仅为 69.05%，表明其对未登录词的鲁棒性较差。
• 在领域特定数据上微调的 GPT-2（GPT-2_FT）未能正确跟踪 'Day' 类型的槽位，显示出其在处理未见时间实体时的推理局限性。
• 当在 50% 数据上训练时，Soloist 在 Reddit 和 Twitter 等异构领域中的 OOD 检测 F1 分数比 GPT-2_FT 高出 20 多分。
• 当仅使用 10% 数据训练时，Soloist 在 OOD 检测中的 F1 分数比 GPT-2_FT 高出 3 分，显示出更好的样本效率。
• 在语料评估与人工评估之间观察到显著的性能下降，尤其对预训练模型更为明显，表明其对噪声或异常输入高度敏感。