[论文解读] Dialog State Tracking: A Neural Reading Comprehension Approach

Shuyang Gao, Abhishek Sethi+3 more|arXiv (Cornell University)|Aug 6, 2019

Topic Modeling参考文献 25被引用 23

一句话总结

本文提出了一种基于神经阅读理解的对话状态追踪方法，将状态追踪建模为跨度预测任务，通过注意力机制网络直接在对话上下文中定位槽值。通过利用BERT嵌入并引入槽值延续模型，该方法在MultiWOZ-2.0数据集上实现了47.33%的联合目标准确率，超越了先前最先进方法11.75%。

ABSTRACT

Dialog state tracking is used to estimate the current belief state of a dialog given all the preceding conversation. Machine reading comprehension, on the other hand, focuses on building systems that read passages of text and answer questions that require some understanding of passages. We formulate dialog state tracking as a reading comprehension task to answer the question $what\ is\ the\ state\ of\ the\ current\ dialog?$ after reading conversational context. In contrast to traditional state tracking methods where the dialog state is often predicted as a distribution over a closed set of all the possible slot values within an ontology, our method uses a simple attention-based neural network to point to the slot values within the conversation. Experiments on MultiWOZ-2.0 cross-domain dialog dataset show that our simple system can obtain similar accuracies compared to the previous more complex methods. By exploiting recent advances in contextual word embeddings, adding a model that explicitly tracks whether a slot value should be carried over to the next turn, and combining our method with a traditional joint state tracking method that relies on closed set vocabulary, we can obtain a joint-goal accuracy of $47.33\%$ on the standard test split, exceeding current state-of-the-art by $11.75\%$**.

研究动机与目标

• 为解决固定词汇表对话状态追踪方法在处理未见槽值时的局限性。
• 探究对话状态追踪是否可被有效重构为阅读理解任务。
• 通过避免依赖预定义本体，提升多领域对话系统中的泛化能力和鲁棒性。
• 研究上下文嵌入和槽值延续建模对状态追踪性能的影响。
• 对模型在对话深度和错误模式方面的鲁棒性进行综合分析。

提出的方法

• 通过提出问题'当前对话的状态是什么？'，将对话状态追踪建模为阅读理解任务，并在对话中预测答案跨度。
• 使用基于Transformer的注意力神经网络，直接定位对话上下文中槽值的起始和结束标记。
• 引入一种槽值延续模型，用于预测是否应保留上一回合的槽值，从而提升状态一致性。
• 引入BERT嵌入以增强对话历史的上下文理解，改善表征学习。
• 将所提出的跨度预测模型与传统联合状态追踪器（采用封闭词汇表方法）结合，以提升联合目标准确率。
• 使用槽类型分类器预测答案为'Yes'、'No'、'DontCare'或一个跨度，实现结构化决策。

实验结果

研究问题

• RQ1 对话状态追踪是否可被有效重构为阅读理解任务，从而摆脱对固定本体的依赖？
• RQ2 基于注意力的跨度预测模型相较于传统基于分布的状态追踪方法，在准确率和泛化能力方面表现如何？
• RQ3 引入槽值延续模型在多大程度上提升了追踪性能，特别是在长对话中？
• RQ4 上下文嵌入（如BERT）对神经对话状态追踪器的性能有何影响？
• RQ5 对话深度对模型准确率有何影响？如何使模型对长对话更具鲁棒性？

主要发现

• 所提出的基于阅读理解的模型在MultiWOZ-2.0上实现了42.12%的联合目标准确率，相较于之前最先进方法绝对提升了6.5%。
• 通过将跨度预测模型与传统联合状态追踪器结合，该方法在联合目标准确率上达到新的最先进水平，为47.33%，较之前工作高出11.75%。
• 槽值延续模型显著提升了性能，消融实验表明其在保持跨轮次状态一致性方面起着关键作用。
• 随着对话深度的增加，模型性能下降，因为早期轮次中的错误会传播并累积到后续轮次。
• 对扁平化对话上下文进行自注意力机制略微降低了性能，而层次化上下文编码则带来微小提升，表明更简单的上下文建模方法可能更有效。
• 由于其跨度预测机制，该模型对未见槽值具有良好的泛化能力，克服了传统方法的词汇表限制。