[论文解读] MultiWOZ 2.2 : A Dialogue Dataset with Additional Annotation Corrections and State Tracking Baselines

Xiaoxue Zang, Abhinav Rastogi+4 more|arXiv (Cornell University)|Jul 10, 2020

Topic Modeling参考文献 16被引用 26

一句话总结

本文介绍了 MultiWOZ 2.2，即 MultiWOZ 对话数据集的改进版本，该版本修正了标注错误，统一了用户和系统话语中的槽位跨度标注，并通过排除高基数槽位优化了本体定义。该研究对当前最先进的对话状态追踪模型进行了基准测试，结果显示在 MultiWOZ 2.1 和 2.2 上性能表现一致，从而实现了更公平的模型比较，并提升了对未见槽位值的泛化能力。

ABSTRACT

MultiWOZ is a well-known task-oriented dialogue dataset containing over 10,000 annotated dialogues spanning 8 domains. It is extensively used as a benchmark for dialogue state tracking. However, recent works have reported presence of substantial noise in the dialogue state annotations. MultiWOZ 2.1 identified and fixed many of these erroneous annotations and user utterances, resulting in an improved version of this dataset. This work introduces MultiWOZ 2.2, which is a yet another improved version of this dataset. Firstly, we identify and fix dialogue state annotation errors across 17.3% of the utterances on top of MultiWOZ 2.1. Secondly, we redefine the ontology by disallowing vocabularies of slots with a large number of possible values (e.g., restaurant name, time of booking). In addition, we introduce slot span annotations for these slots to standardize them across recent models, which previously used custom string matching heuristics to generate them. We also benchmark a few state of the art dialogue state tracking models on the corrected dataset to facilitate comparison for future work. In the end, we discuss best practices for dialogue data collection that can help avoid annotation errors.

研究动机与目标

• 为解决 MultiWOZ 2.1 中持续存在的标注错误和不一致性，特别是对话状态追踪标注中的问题。
• 统一用户和系统话语中槽位跨度的标注方式，以支持模型间的一致性评估。
• 通过移除高基数槽位（如餐厅名称、预订时间）并引入基于跨度的值定位方式，重新定义本体。
• 为每个用户话语轮次提供主动意图和请求槽位的标注，以更好地建模用户目标。
• 在修正后的数据集上对当前最先进的 DST 模型进行基准测试，以实现更公平的性能比较。

提出的方法

• 通过系统化的错误检测与验证，识别并修正了 MultiWOZ 2.1 中 17.3% 话语的标注错误。
• 重新定义本体以排除高基数槽位（如名称、时间），并引入槽位跨度标注以精确定位值在话语中的位置。
• 通过确保所有非类别槽位值在对话历史中完全一致地出现，标准化槽位值的表示方式。
• 为每个用户话语轮次标注主动意图和请求槽位，以改善对用户驱动对话流程的建模。
• 使用联合目标准确率作为主要指标，在 MultiWOZ 2.2 上对三种 SOTA DST 模型（TRADE、SGD-baseline 和 DS-DST）进行基准测试。
• 通过验证检查和众包后续确认，检测并修正了标注中的逻辑不一致性和改写错误。

实验结果

研究问题

• RQ1 MultiWOZ 2.1 中持续存在的标注错误类型有哪些？它们如何影响对话状态追踪的性能？
• RQ2 如何在不同模型间标准化槽位跨度标注，以提升 DST 中的一致性和泛化能力？
• RQ3 对本体和槽位值表示的修正在多大程度上提升了模型的公平性与泛化能力？
• RQ4 当前最先进的 DST 模型在修正后的 MultiWOZ 2.2 上相较于 MultiWOZ 2.1 表现如何？
• RQ5 在任务导向对话系统中，哪些数据收集与标注的最佳实践可最大限度减少错误并提升数据集质量？

主要发现

• MultiWOZ 2.2 修正了 MultiWOZ 2.1 中 17.3% 话语的标注错误，显著提升了数据质量。
• 所有三种基准模型（TRADE、SGD-baseline 和 DS-DST）在 MultiWOZ 2.1 和 MultiWOZ 2.2 上的联合目标准确率几乎完全相同，表明在修正数据上性能稳定。
• TRADE 在 MultiWOZ 2.2 上的联合目标准确率为 0.454，略低于其在 MultiWOZ 2.1 上的 0.460，表明修正带来的性能下降可忽略不计。
• 非类别槽位的联合准确率更高（如 TRADE 为 0.666），而类别槽位的联合准确率较低（0.628），可能是因为状态值与对话历史的对齐更佳。
• 引入跨度标注和标准化槽位定义后，实现了更一致的评估，减少了模型间对启发式值匹配的依赖。
• 本研究发现复杂逻辑表达式（如“便宜 > 中等”）极为罕见（占对话总数的 <1%），提示未来数据集需具备更强的表达能力。