[论文解读] Dialog state tracking, a machine reading approach using Memory Network

Julien Pérez, Fei Liu|arXiv (Cornell University)|Jun 13, 2016

Speech and dialogue systems参考文献 31被引用 14

一句话总结

本文提出了一种新颖的对话状态追踪方法，通过将对话状态追踪问题建模为使用MemN2N（一种增强记忆的神经网络）的机器阅读任务。该方法在DSTC-2基准上取得了具有竞争力的性能，联合准确率达到74%，并扩展了基准测试以包含计数、是/否问题等推理任务，展示了模型在标准槽位填充之外的近似推理能力。

ABSTRACT

In an end-to-end dialog system, the aim of dialog state tracking is to accurately estimate a compact representation of the current dialog status from a sequence of noisy observations produced by the speech recognition and the natural language understanding modules. This paper introduces a novel method of dialog state tracking based on the general paradigm of machine reading and proposes to solve it using an End-to-End Memory Network, MemN2N, a memory-enhanced neural network architecture. We evaluate the proposed approach on the second Dialog State Tracking Challenge (DSTC-2) dataset. The corpus has been converted for the occasion in order to frame the hidden state variable inference as a question-answering task based on a sequence of utterances extracted from a dialog. We show that the proposed tracker gives encouraging results. Then, we propose to extend the DSTC-2 dataset with specific reasoning capabilities requirement like counting, list maintenance, yes-no question answering and indefinite knowledge management. Finally, we present encouraging results using our proposed MemN2N based tracking model.

研究动机与目标

• 解决现有对话状态追踪器依赖固定话语窗口且缺乏槽位间相关性建模的局限性。
• 将对话状态追踪重新构架为机器阅读问题，实现对话语历史中相关话语的注意力机制。
• 通过计数、列表维护、是/否问题和不确定知识管理等推理能力，扩展DSTC-2数据集。
• 评估MemN2N在处理标准槽位填充与复杂推理任务方面在对话状态追踪中的有效性。
• 证明记忆增强网络可在最小标注开销下支持可扩展的、具备推理能力的对话状态追踪。

提出的方法

• 将对话状态追踪任务重新定义为问题-回答问题，其中每个槽位均作为对话语历史的问题。
• 使用MemN2N架构处理话语历史，并通过多跳机制在多个跳跃步骤中关注相关话语以推断槽位值。
• 将每个话语嵌入向量空间，记忆块用于存储过去话语回合的表示，以支持基于注意力的推理。
• 模型采用多跳注意力机制，通过迭代方式逐步聚焦于话语中相关部分，每跳均计算注意力权重。
• 使用梯度下降法进行端到端训练，所有权重采用L2正则化和Xavier初始化。
• 在标准DSTC-2槽位填充任务和扩展的推理任务（包括是/否问题、计数、列表维护和不确定知识）上对模型进行评估。

实验结果

研究问题

• RQ1 能否通过记忆增强神经网络将对话状态追踪有效重构为机器阅读任务？
• RQ2 MemN2N架构在处理复杂推理任务时，是否优于标准判别模型？
• RQ3 所提出的框架能否在对话上下文中支持槽位填充之外的推理，如计数和列表维护？
• RQ4 当使用话语级标注而非话语级标注进行训练时，模型性能如何？
• RQ5 扩展后的包含推理任务的DSTC-2数据集能否作为评估推理感知对话状态追踪器的基准？

主要发现

• MemN2N模型在标准DSTC-2测试集上实现了74%的联合准确率，优于基线RNN和NBT模型。
• 在推理任务中，模型在是/否问题上达到96%的准确率，在使用40维嵌入时，Area槽位的列表维护任务准确率为75%。
• 模型在计数任务中表现优异，使用40维嵌入时，PriceRange槽位的准确率达到80%。
• 在不确定知识（I.K.）任务中，Food为89%，Area为90%，表明对“dontcare”等概念具有稳健处理能力。
• 与非记忆增强模型相比，该模型在推理任务上表现出更强的泛化能力，尤其在处理跨槽位复杂依赖关系方面。
• 结果表明，记忆增强网络非常适合具备推理能力的对话状态追踪，可作为规则或手工设计系统的可扩展替代方案。