[论文解读] Global-Locally Self-Attentive Dialogue State Tracker

Victor W. Zhong, Caiming Xiong+1 more|arXiv (Cornell University)|May 19, 2018

Speech and dialogue systems参考文献 35被引用 70

一句话总结

GLAD 引入一个全局-局部自注意编码器用于 DST，在跨槽共享参数的同时学习槽特定特征，在 WoZ 与 DSTC2 上实现了最先进的结果。通过全局-局部参数共享与自注意力来改进对罕见槽-值对的跟踪。

ABSTRACT

Dialogue state tracking, which estimates user goals and requests given the dialogue context, is an essential part of task-oriented dialogue systems. In this paper, we propose the Global-Locally Self-Attentive Dialogue State Tracker (GLAD), which learns representations of the user utterance and previous system actions with global-local modules. Our model uses global modules to share parameters between estimators for different types (called slots) of dialogue states, and uses local modules to learn slot-specific features. We show that this significantly improves tracking of rare states and achieves state-of-the-art performance on the WoZ and DSTC2 state tracking tasks. GLAD obtains 88.1% joint goal accuracy and 97.1% request accuracy on WoZ, outperforming prior work by 3.7% and 5.5%. On DSTC2, our model obtains 74.5% joint goal accuracy and 97.5% request accuracy, outperforming prior work by 1.1% and 1.0%.

研究动机与目标

• 通过解决 DST 数据集中的罕见槽-值对问题来推动对话状态追踪的改进。
• 提出一个全局-局部自注意编码器，在跨槽共享参数的同时学习槽特定特征。
• 通过端到端训练在 WoZ 与 DSTC2 上实现最先进的性能，无需手工设计词典。

提出的方法

• 使用全局双向 LSTM 捕捉所有槽的通用特征（全局模块） 。
• 使用以特定槽为条件的局部双向 LSTM（局部模块）。
• 以槽特定加权将全局和局部编码结合，形成最终的编码表示（beta^s）。
• 应用全局与局部自注意力来计算上下文向量（c^g 与 c^s），并形成全局-局部注意力上下文（c）。
• 对用户话语、上一步系统动作和槽-值对进行 GLAD 编码，然后使用两个打分器（一个来自话语，一个来自动作）及学得的加权来产生最终分数，进行槽-值对预测的评分。

实验结果

研究问题

• RQ1 在跨槽共享参数的同时保持槽特定表示是否能改善 DST，尤其是对于罕见槽-值对？
• RQ2 全局与局部自注意组件是否提供互补效益来实现准确的回合级和联合目标跟踪？
• RQ3 在嘈杂的 ASR 条件下（DSTC2）与干净话语下（WoZ）相比，GLAD 相对于以前的最先进方法在 DSTC2 和 WoZ 数据集上的表现如何？

主要发现

• GLAD 取得了最先进的结果：在 WoZ 上联合目标准确率 88.1%、请求准确率 97.1%。
• GLAD 在 DSTC2 上的联合目标准确率为 74.5%、请求准确率为 97.5%。
• 消融研究表明全局-局部共享和自注意力有助于对罕见槽-值对的鲁棒性，优于移除全局共享或槽特定成分的变体。
• 在 WoZ 上，GLAD 在联合目标准确率上超越此前最佳水平 3.7%，在回合级请求准确率上超越 5.5%。
• 在 DSTC2 上，GLAD 在联合目标准确率上超越此前最佳水平 1.1%，在回合级请求准确率上超越 1.0%。