[论文解读] Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering

Li Zhou, Kevin Small|arXiv (Cornell University)|Nov 7, 2019

Topic Modeling参考文献 29被引用 58

一句话总结

该论文将多域对话状态跟踪建模为问答任务（DSTQA），使用双向注意力网络和动态演化的知识图谱来捕捉域-槽关系，在MultiWOZ 2.0/2.1上达到最先进的结果并展示对域自适应的强大能力。

ABSTRACT

Multi-domain dialogue state tracking (DST) is a critical component for conversational AI systems. The domain ontology (i.e., specification of domains, slots, and values) of a conversational AI system is generally incomplete, making the capability for DST models to generalize to new slots, values, and domains during inference imperative. In this paper, we propose to model multi-domain DST as a question answering problem, referred to as Dialogue State Tracking via Question Answering (DSTQA). Within DSTQA, each turn generates a question asking for the value of a (domain, slot) pair, thus making it naturally extensible to unseen domains, slots, and values. Additionally, we use a dynamically-evolving knowledge graph to explicitly learn relationships between (domain, slot) pairs. Our model has a 5.80% and 12.21% relative improvement over the current state-of-the-art model on MultiWOZ 2.0 and MultiWOZ 2.1 datasets, respectively. Additionally, our model consistently outperforms the state-of-the-art model in domain adaptation settings. (Code is released at https://github.com/alexa/dstqa )

研究动机与目标

• 动机：由于本体不完整，需要鲁棒的多域DST能够泛化到尚未见过的域、插槽和值。
• 提出一种DST模型，将DST视为对域-槽-值三元组进行提问的回答。
• 引入一个动态演化的知识图谱，用以编码域-槽对和数值之间的关系。
• 证明DSTQA在标准基准和域自适应设置下相比方法提升了状态跟踪性能。

提出的方法

• 为每个（domain，slot）对构造一组问题 Q_{d,s}，在可用时如实包含可能的值。
• 使用双向注意力流将对话上下文与每个问题相关联，生成上下文特定和数值特定的嵌入。
• 通过对上下文感知和问题感知嵌入进行双线性评分来预测值，或对具有大规模/无限值集的槽位预测跨度。
• 引入一个具有域-槽节点和数值节点的动态知识图谱，其中图注意力在不同轮次和域之间传播信息。
• 通过门控机制将图嵌入注入预测中，以根据对话上下文控制图信息流。
• 对数据集进行预处理，以在必要时为与时间相关的槽位获取跨度标签，在适当时实现基于跨度的预测。

实验结果

研究问题

• RQ1 DST是否可以有效地建模为一个QA任务，以泛化到尚未见过的域、槽和值？
• RQ2 引入一个捕捉域-槽/值对之间关系的动态知识图谱，是否能提升DST性能？
• RQ3 对话上下文与槽/值问题之间的双向注意力如何影响准确性？
• RQ4 对于具有大规模或未知值集的槽位，基于跨度的预测与基于值的预测的影响如何？
• RQ5 在目标域数据有限的域适应场景下，所提出方法的迁移能力如何？

主要发现

• DSTQA w/span 在 MultiWOZ 2.0 上实现 51.36（Joint）和 97.22（Slot），优于包括 TRADE 在内的若干基线。
• DSTQA w/o span 在 MultiWOZ 2.0 上实现 51.44（Joint）和 97.24（Slot），在枚举与时间相关的值时呈现出强劲性能。
• 在 MultiWOZ 2.1 上，DSTQA w/span 获取 49.67（Joint）和 97.10（Slot），明显超越 TRADE；DSTQA w/o span 获取 51.17（Joint）和 97.21（Slot）。
• 在消融研究中，移除图组件或门控机制会降低联合准确率，凸显动态知识图谱和门控图整合的收益。
• 该模型表现出强健的域适应性，在多个域中对准目标域数据有限的情况下微调时始终优于基线。
• 消融研究表明双向注意力和上下文嵌入（ELMo）对性能有实质性贡献。