[论文解读] MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with Essential Annotation Corrections to Improve State Tracking Evaluation

Fanghua Ye, Jarana Manotumruksa+1 more|arXiv (Cornell University)|Apr 1, 2021

Speech and dialogue systems参考文献 26被引用 5

一句话总结

本文介绍了 MultiWOZ 2.4，这是 MultiWOZ 2.1 数据集的改进版本，通过修正验证集和测试集中的标注，提升了对话状态追踪（DST）评估的公平性与准确性。通过修复超过 65% 的对话中 41% 的状态标注（包括上下文不一致、缺失槽位和不完整值等错误），同时保留原始的噪声训练集，作者表明，最先进 DST 模型在 MultiWOZ 2.4 上的联合目标准确率显著高于以往版本，揭示了先前评估因标注噪声而存在偏差。

ABSTRACT

The MultiWOZ 2.0 dataset has greatly stimulated the research of task-oriented dialogue systems. However, its state annotations contain substantial noise, which hinders a proper evaluation of model performance. To address this issue, massive efforts were devoted to correcting the annotations. Three improved versions (i.e., MultiWOZ 2.1-2.3) have then been released. Nonetheless, there are still plenty of incorrect and inconsistent annotations. This work introduces MultiWOZ 2.4, which refines the annotations in the validation set and test set of MultiWOZ 2.1. The annotations in the training set remain unchanged (same as MultiWOZ 2.1) to elicit robust and noise-resilient model training. We benchmark eight state-of-the-art dialogue state tracking models on MultiWOZ 2.4. All of them demonstrate much higher performance than on MultiWOZ 2.1.

研究动机与目标

• 解决 MultiWOZ 2.1 中持续存在的标注噪声问题，以确保对话状态追踪（DST）模型评估的公平性与准确性。
• 通过修正验证集和测试集中的错误及不一致的槽值标注，提升基准测试的可靠性。
• 保留原始的噪声训练集，以促进鲁棒、抗噪声训练方法的发展。
• 提供一个包含大规模噪声训练集和清洁评估集的真实数据集设置，反映现实世界中的数据收集挑战。
• 通过严格对齐标注与对话上下文，实现对模型性能更准确的评估。

提出的方法

• 系统识别出六类标注错误：上下文不一致（含拼写错误）、标注缺失、未提及（虚假槽位）、值不完整、多个值和值错误。
• 对 MultiWOZ 2.1 的验证集和测试集进行了细致的、经交叉验证的手动标注修正，确保与实际对话上下文一致。
• 保留了来自 MultiWOZ 2.1 的原始训练集标注，以维持训练鲁棒性，并模拟现实世界中的数据条件。
• 在清洗后的评估集上对八种最先进 DST 模型进行基准测试，以比较不同版本下的性能表现。
• 使用清洗后的验证集进行模型选择，使用清洗后的测试集进行最终评估，确保评估的公平性。
• 对代表性对话进行定性分析，以说明修正后的标注如何与用户话语保持一致，并提升模型评估的准确性。

实验结果

研究问题

• RQ1 MultiWOZ 2.1 中的标注噪声在多大程度上扭曲了对话状态追踪模型的评估结果？
• RQ2 由于标注修正，MultiWOZ 2.4 相较于 MultiWOZ 2.1 能带来多大程度的性能提升？
• RQ3 在噪声数据集上训练的模型，若在清洗后的测试集上评估，是否仍能取得更高性能？这反映了模型的何种鲁棒性？
• RQ4 与以往版本相比，MultiWOZ 2.4 中的修正标注在多大程度上更准确地反映了实际对话上下文？
• RQ5 优化后的评估集对最先进 DST 模型的性能表现产生了何种影响？

主要发现

• MultiWOZ 2.4 修正了验证集和测试集中 65% 的对话中超过 41% 的状态标注，显著提升了标注质量。
• 所有八种基准最先进 DST 模型在 MultiWOZ 2.4 上的联合目标准确率均显著高于在 MultiWOZ 2.1 上的表现，表明先前评估因噪声存在偏差。
• 尽管训练集保持不变，MultiWOZ 2.4 上的联合目标准确率仍超过以往版本，说明评估集中的标注噪声是主要混淆因素。
• 定性分析证实，MultiWOZ 2.4 的标注与对话上下文保持一致，而 MultiWOZ 2.1 的标注常出现偏离或错误。
• 优化后的数据集使模型能力的评估更加准确与公平，揭示了先前性能提升可能因标注错误而被低估。
• 该数据集设置（噪声训练、清洁评估）真实反映了现实世界条件，为训练鲁棒、抗噪声的对话系统提供了坚实基础。