[论文解读] Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation

Ryuichi Takanobu, Qi Zhu+4 more|arXiv (Cornell University)|May 15, 2020

Speech and dialogue systems参考文献 44被引用 6

一句话总结

本文基于 MultiWOZ 语料库对目标导向对话系统进行了系统级评估，比较了流水线、联合和端到端架构。研究发现，采用细粒度监督的流水线系统在整体性能上优于联合与端到端模型；组件级指标常具有误导性；模拟评估与人类评估的相关性中等，支持其在早期开发阶段的应用。

ABSTRACT

There is a growing interest in developing goal-oriented dialog systems which serve users in accomplishing complex tasks through multi-turn conversations. Although many methods are devised to evaluate and improve the performance of individual dialog components, there is a lack of comprehensive empirical study on how different components contribute to the overall performance of a dialog system. In this paper, we perform a system-wise evaluation and present an empirical analysis on different types of dialog systems which are composed of different modules in different settings. Our results show that (1) a pipeline dialog system trained using fine-grained supervision signals at different component levels often obtains better performance than the systems that use joint or end-to-end models trained on coarse-grained labels, (2) component-wise, single-turn evaluation results are not always consistent with the overall performance of a dialog system, and (3) despite the discrepancy between simulators and human users, simulated evaluation is still a valid alternative to the costly human evaluation especially in the early stage of development.

研究动机与目标

• 探究不同对话系统架构（流水线、联合、端到端）在真实世界任务完成场景中的表现。
• 评估组件级单轮评估指标与整体系统级多轮性能之间的一致性。
• 评估模拟用户评估在不同任务复杂度下相对于人类评估的有效性。
• 确定组件级性能提升是否能转化为多轮对话中的系统级成功。

提出的方法

• 使用 ConvLab 平台在 MultiWOZ 2.1 语料库上进行系统级评估，采用标准化对话系统配置。
• 在组件级别（NLU、DST、策略、NLG）使用细粒度监督信号训练并评估流水线、联合和端到端模型。
• 通过模拟用户交互与人类评估相结合的方式，衡量任务成功率与对话质量。
• 采用标准化指标，包括联合目标准确率、任务成功率以及单领域与多领域任务中的系统级成功率。
• 使用统计度量分析模拟评估与人类评估结果之间的相关性。
• 评估系统在任务复杂度逐步增加的情况下的鲁棒性，涵盖从单领域到多领域的场景。

实验结果

研究问题

• RQ1 哪种系统配置（流水线、联合、端到端）在目标导向对话系统中能带来更好的整体性能？
• RQ2 组件级单轮评估结果是否与系统级多轮评估结果保持一致？
• RQ3 随着任务复杂度从单领域增加到多领域，系统性能如何变化？
• RQ4 模拟评估在预测真实系统性能方面与人类评估的相关性如何？

主要发现

• 在每个组件级别均使用细粒度监督信号训练的流水线系统，在整体任务成功率方面始终优于联合与端到端模型。
• 组件级单轮指标与系统级多轮性能之间表现出不一致的相关性，表明高组件准确率并不保证系统级成功。
• 所有架构的系统性能在任务复杂度增加时均显著下降，尤其在多领域场景中更为明显。
• 模拟评估与人类评估之间表现出中等程度的相关性，表明其可作为有效替代方案，尤其适用于早期开发阶段，尽管其可能高估人类表现。
• 模拟器与人类用户之间的差异凸显了开发更真实用户模拟器的必要性，以支持目标变更与多样化响应。
• 端到端与联合模型在复杂对话中的鲁棒性显著较低，表明其在不确定环境下的规划与意图跟踪能力存在局限。