[论文解读] An End-to-End Dialogue State Tracking System with Machine Reading Comprehension and Wide & Deep Classification

Yue Ma, Zengfeng Zeng+6 more|arXiv (Cornell University)|Dec 19, 2019

Topic Modeling参考文献 21被引用 18

一句话总结

本论文提出了一种用于 DSTC 8 Track 4 挑战的端到端对话状态追踪系统，结合了用于基于跨度和数值槽的机器阅读理解（MRC）模型，以及结合人工设计特征的 Wide & Deep 模型，用于布尔值和基于文本的槽。该系统在联合目标准确率 0.8652 和槽标记 F1 分数 0.9835 上达到最先进性能，展现出对未见服务的零样本泛化能力。

ABSTRACT

This paper describes our approach in DSTC 8 Track 4: Schema-Guided Dialogue State Tracking. The goal of this task is to predict the intents and slots in each user turn to complete the dialogue state tracking (DST) based on the information provided by the task's schema. Different from traditional stage-wise DST, we propose an end-to-end DST system to avoid error accumulation between the dialogue turns. The DST system consists of a machine reading comprehension (MRC) model for non-categorical slots and a Wide & Deep model for categorical slots. As far as we know, this is the first time that MRC and Wide & Deep model are applied to DST problem in a fully end-to-end way. Experimental results show that our framework achieves an excellent performance on the test dataset including 50% zero-shot services with a joint goal accuracy of 0.8652 and a slot tagging F1-Score of 0.9835.

研究动机与目标

• 通过消除对先前状态估计的依赖，解决传统流水线式对话状态追踪中的误差累积问题。
• 通过使用自然语言描述建模意图和槽语义，实现对未见服务的零样本泛化。
• 通过专用的端到端架构，提升对分类槽（布尔值/基于文本）和非分类槽（基于跨度/数值）的性能。
• 通过数据增强和 Wide & Deep 组件中的混合特征工程，提升模型的鲁棒性和泛化能力。

提出的方法

• MRC-DST 模块将每个槽视为对完整对话历史的提问，使用 RoBERTa 从上下文中直接提取答案跨度。
• WD-DST 模型将预训练的上下文嵌入与人工设计的语言学特征（如槽的存在性、位置、相似度等）结合，以提升布尔值和基于文本槽的分类性能。
• 所有意图和槽名称均替换为自然语言描述作为输入，从而实现对新模式的零样本泛化。
• 对 WD-DST 训练数据应用数据增强，以提升泛化能力，尤其针对罕见或未见的槽类型。
• 当在冲突意图之间切换时（如 'Payment_1' 中的 'MakePayment' 和 'RequestPayment'），应用特殊规则清除对话状态，防止状态不一致。
• 最终系统通过集成 MRC-DST 和 WD-DST 并结合数据增强，实现最优的联合性能。

实验结果

研究问题

• RQ1 端到端对话状态追踪系统是否能在不依赖先前状态估计的情况下，消除来自前一回合的误差传播？
• RQ2 通过使用自然语言描述建模意图和槽语义，是否能实现对未见服务的有效零样本泛化？
• RQ3 将深度上下文表示与人工设计特征结合，是否能提升分类槽追踪性能，相比纯神经网络基线？
• RQ4 数据增强在对话状态追踪中在多大程度上提升了零样本泛化能力？
• RQ5 在多领域、基于模式引导的设置中，基于 MRC 的统一方法在非分类槽上的表现，与用于分类槽的混合模型相比，效果如何？

主要发现

• 所提出的端到端系统在 DSTC 8 测试集上实现了 0.8652 的联合目标准确率和 0.9835 的槽标记 F1 分数，位居所有团队榜首。
• MRC-DST 模型展现出强大的语义理解能力，能够直接从对话历史中有效提取基于跨度和数值的槽值。
• WD-DST 模型优于仅使用 RoBERTa 的基线模型，在开发集上平均准确率达到 0.9751，相较基线的 0.9355 显著提升，归因于人工设计特征的有效整合。
• 消融研究显示，数据增强显著提升了零样本性能，尤其在未见服务上表现突出。
• 结合数据增强的 MRC-DST 与 WD-DST 集成系统相比基线方法实现了 10% 以上的性能提升，证实了混合架构的有效性。
• 系统通过在意图切换时应用状态清除规则，成功处理了不同意图间槽值的冲突，防止了状态不一致。