[论文解读] Efficient Context and Schema Fusion Networks for Multi-Domain Dialogue State Tracking

Su Zhu, Jieyu Li+2 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 44被引用 23

一句话总结

该论文提出了一种上下文与模式融合网络（CSFN-DST），用于多领域对话状态追踪，通过内部注意力和外部注意力机制联合编码对话上下文与模式图。通过利用领域-槽位关系中的先验知识，并通过预测的先前状态高效建模上下文，该方法在MultiWOZ 2.0和2.1上实现了最先进性能，优于强基线模型，并在引入模式图后进一步提升了先前最先进方法（SOM-DST）的性能。

ABSTRACT

Dialogue state tracking (DST) aims at estimating the current dialogue state given all the preceding conversation. For multi-domain DST, the data sparsity problem is a major obstacle due to increased numbers of state candidates and dialogue lengths. To encode the dialogue context efficiently, we utilize the previous dialogue state (predicted) and the current dialogue utterance as the input for DST. To consider relations among different domain-slots, the schema graph involving prior knowledge is exploited. In this paper, a novel context and schema fusion network is proposed to encode the dialogue context and schema graph by using internal and external attention mechanisms. Experiment results show that our approach can obtain new state-of-the-art performance of the open-vocabulary DST on both MultiWOZ 2.0 and MultiWOZ 2.1 benchmarks.

研究动机与目标

• 解决由于大量领域-槽位对和长对话历史导致的多领域对话状态追踪中的数据稀疏性问题。
• 通过仅使用先前预测的对话状态和当前话语来改进上下文编码，而非拼接所有先前轮次。
• 通过模式图整合领域-槽位关系，以建模依赖关系并缓解数据不平衡问题。
• 通过结合序列建模与基于图的关系归纳偏置，实现开放词汇表值预测。
• 通过注意力机制联合编码对话上下文与模式结构，提升模型泛化能力与性能。

提出的方法

• 构建一个包含领域、槽位和领域-槽位节点的模式图，通过预定义关系编码先验知识。
• 使用内部注意力建模由先前状态和当前话语表示的对话上下文内部依赖关系。
• 应用外部注意力将对话上下文与模式图对齐，融合两者的资讯。
• 采用多层融合网络，通过交替使用内部和外部注意力，迭代优化每个领域-槽位节点的表示。
• 使用槽位门分类器判断槽位是否被提及（包括NONE或DONTCARE），随后通过RNN解码器生成开放词汇表值。
• 在适用时使用BERT进行上下文编码，以联合目标准确率为首要指标进行端到端训练。

实验结果

研究问题

• RQ1 通过编码领域-槽位关系的模式图，是否能改善在数据稀疏条件下的多领域对话状态追踪性能？
• RQ2 通过内部和外部注意力融合对话上下文与模式信息，如何增强领域-槽位对的表征学习？
• RQ3 仅使用先前预测的对话状态而非完整历史，能在多大程度上提升效率而不损失准确性？
• RQ4 所提出的模式图能否集成到现有最先进模型（如SOM-DST）中以进一步提升性能？
• RQ5 槽位门分类器与RNN解码器在跨多样化领域处理开放词汇表值预测方面有多高效？

主要发现

• 所提出的CSFN-DST在MultiWOZ 2.1上实现了53.19%的联合目标准确率，优于强基线模型，并创下新SOTA。
• 消融实验确认，上下文编码与模式图集成均至关重要，其中模式图对性能提升有显著贡献。
• 模式图使先前SOTA方法SOM-DST得到改进，在MultiWOZ 2.0上联合准确率达到52.23%，在MultiWOZ 2.1上达到53.19%。
• 槽位门分类器在F1分数上表现优异（NONE为99.19，PTR为98.05），但DONTCARE检测仍具挑战性（BERT下F1为75.96）。
• Oracle实验表明，若使用真实先前对话状态，联合准确率可接近80%，表明训练-推理不匹配是主要瓶颈。
• 使用BERT的模型推理时间为每批次840ms，参数量为115M，尽管参数量增加，但效率仍属合理。