[论文解读] Improving Dialogue State Tracking by Discerning the Relevant Context

Sanuj Sharma, Prafulla Kumar Choubey+1 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 15被引用 4

一句话总结

该论文提出了一种新颖的对话状态追踪（DST）框架，通过识别非相邻的相关历史话语并利用上下文感知机制对相关系统话语进行门控，从而提升准确率。通过利用过去的槽值变化以及对系统话语的门控机制，该模型在WoZ 2.0和MultiWoZ 2.0上分别相对于GLAD实现了2.75%和2.36%的联合目标准确率绝对提升，同时参数量仅为GLAD的三分之一。

ABSTRACT

A typical conversation comprises of multiple turns between participants where they go back-and-forth between different topics. At each user turn, dialogue state tracking (DST) aims to estimate user's goal by processing the current utterance. However, in many turns, users implicitly refer to the previous goal, necessitating the use of relevant dialogue history. Nonetheless, distinguishing relevant history is challenging and a popular method of using dialogue recency for that is inefficient. We, therefore, propose a novel framework for DST that identifies relevant historical context by referring to the past utterances where a particular slot-value changes and uses that together with weighted system utterance to identify the relevant context. Specifically, we use the current user utterance and the most recent system utterance to determine the relevance of a system utterance. Empirical analyses show that our method improves joint goal accuracy by 2.75% and 2.36% on WoZ 2.0 and MultiWoZ 2.0 restaurant domain datasets respectively over the previous state-of-the-art GLAD model.

研究动机与目标

• 为了解决对话状态追踪中隐式指代的挑战，即用户在当前话语中未明确提及但指代过去目标的情况。
• 克服依赖对话新近性的局限，后者往往无法捕捉非相邻但相关的上下文。
• 通过识别并整合最相关的过去话语和系统回复来提升DST性能，减少噪声和参数负担。
• 证明仅使用选择性上下文的轻量化模型能够超越更大的最先进模型（如GLAD）。

提出的方法

• 该模型通过追踪每个槽值被修改的最后通话语音，识别相关的历史上下文，从而检索可能包含隐式指代的非相邻话语。
• 门控机制计算当前用户话语与最近系统话语的相关性，以选择性地整合有信息量的系统回复。
• 该框架使用带有自注意力机制的双向LSTM编码器来表示用户和系统话语，并通过上下文感知机制检索并整合关键的历史话语回合。
• 该模型采用融合表示，结合当前用户话语、最相关的历史用户话语以及门控后的系统话语，以提升状态追踪效果。
• 该方法具有模块化特性，可通过用相关性感知的上下文选择替代基于新近性的编码方式，轻松集成到现有DST系统（如GLAD）中。
• 该方法使用可学习的评分器来确定过去话语和槽值的相关性，仅聚焦于可能包含当前槽值预测线索的内容。

实验结果

研究问题

• RQ1 识别非相邻但相关的过去话语是否能超越依赖新近性的方法，进一步提升对话状态追踪性能？
• RQ2 基于当前用户输入动态选择相关系统话语的门控机制有多有效？
• RQ3 一个采用选择性上下文整合的轻量化模型能否超越更大的、更复杂的最先进模型（如GLAD）？
• RQ4 在保持或提升准确率的同时，整合相关上下文在多大程度上能减少所需模型参数的数量？

主要发现

• 与GLAD模型相比，该方法在WoZ 2.0数据集上将联合目标准确率提升了2.75%，在MultiWoZ 2.0餐厅领域提升了2.36%。
• 该模型在基础形式下仅使用120万个参数，加入上下文和门控后为600万个参数，仅为GLAD（1700万个参数）的三分之一。
• 添加指代性上下文使联合目标准确率提升2.4%，门控机制在全局biLSTM基线模型上额外带来1.0%的提升。
• 性能提升在两个数据集上均保持一致，该模型在所有评估指标（包括请求和信息提供准确率）上均优于GLAD。
• 该模型在处理具有丰富槽值空间的复杂长对话时表现出鲁棒性，这在更具挑战性的MultiWoZ 2.0数据集上表现尤为明显。
• 尽管由于误差传播导致联合目标准确率存在较高方差，该模型仍保持稳定且显著的性能提升，证明了上下文辨别能力的价值。