[论文解读] Global-to-local Memory Pointer Networks for Task-Oriented Dialogue

Chien-Sheng Wu, Richard Socher+1 more|arXiv (Cornell University)|Jan 15, 2019

Topic Modeling参考文献 24被引用 34

一句话总结

GLMP 引入全局记忆编码器和局部记忆解码器，并具备共享外部知识以复制相关的 KB 数据，在模拟和人-人任务导向对话数据集上都取得了最先进的结果，包括对 OOV 的强处理能力。

ABSTRACT

End-to-end task-oriented dialogue is challenging since knowledge bases are usually large, dynamic and hard to incorporate into a learning framework. We propose the global-to-local memory pointer (GLMP) networks to address this issue. In our model, a global memory encoder and a local memory decoder are proposed to share external knowledge. The encoder encodes dialogue history, modifies global contextual representation, and generates a global memory pointer. The decoder first generates a sketch response with unfilled slots. Next, it passes the global memory pointer to filter the external knowledge for relevant information, then instantiates the slots via the local memory pointers. We empirically show that our model can improve copy accuracy and mitigate the common out-of-vocabulary problem. As a result, GLMP is able to improve over the previous state-of-the-art models in both simulated bAbI Dialogue dataset and human-human Stanford Multi-domain Dialogue dataset on automatic and human evaluation.

研究动机与目标

• 推动端到端的任务导向对话系统更好地整合庞大且动态的知识库。
• 提出一种全局到局部记忆指针架构，在编码器和解码器之间共享外部知识。
• 提高对相关 KB 信息的复制能力并缓解对话生成中的 OOV 问题。
• 在模拟数据集（bAbI）和人-人数据集（SMD）上展示最先进的性能。
• 提供对记忆指针的分析与可视化，以展示复制过程。

提出的方法

• 提出一个三部分的模型：全局记忆编码器、共享的外部知识，以及局部记忆解码器。
• 使用上下文 RNN 编码对话历史并将隐藏状态写入外部知识。
• 通过对外部记忆的读取并结合辅助的多标签损失来计算全局记忆指针。
• 使用草拟 RNN 生成一个槽位去词化的回复，然后用来自外部知识的局部记忆指针实例化槽位。
• 在每个解码步骤查询外部知识以生成用于将对象拷贝到最终回复中的局部记忆指针。
• 联合训练，损失函数包括全局指针、草拟生成以及局部指针监督。

实验结果

研究问题

• RQ1 全局记忆指针与局部记忆指针的组合是否能够提升端到端任务导向对话中对 KB 实体的拷贝？
• RQ2 在编码器和解码器之间共享外部知识是否能缓解 OOV 问题并提升跨数据集的鲁棒性？
• RQ3 与最先进的基线相比，GLMP 在模拟和人-人任务导向对话场景中的表现如何？

主要发现

任务	QRN	MN	GMN	S2S+Attn	Ptr-Unk	Mem2Seq	GLMP K1	GLMP K3	GLMP K6
T1	99.4 (-)	99.9 (99.6)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)
T2	99.5 (-)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)
T3	74.8 (-)	74.9 (2.0)	74.9 (0)	74.8 (0)	85.1 (19.0)	94.7 (62.1)	96.3 (75.6)	96.0 (69.4)	96.0 (68.7)
T4	57.2 (-)	59.5 (3.0)	57.2 (0)	57.2 (0)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)
T5	99.6 (-)	96.1 (49.4)	96.3 (52.5)	98.4 (87.3)	99.4 (91.5)	97.9 (69.6)	99.2 (88.5)	99.0 (86.5)	99.2 (89.7)

• 在 bAbI 的 OOV 设置下，GLMP 每轮回复准确率高达 92.0%，超过基线。
• 在 bAbI Task 5 上，GLMP 采用多跳（K=1、3、6）达到高完成率并减少 OOV 性能下降。
• 在 Stanford Multi-domain Dialogue（SMD）中，GLMP 的 K=1/3/6 达到最高的 BLEU 分数，并具有强实体 F1 和人工评估分数。
• 消融分析显示，移除全局记忆指针或历史写入组件会降低性能，证实了它们的贡献。
• GLMP 展现出更高的实体拷贝准确性以及对未知词的鲁棒性，超越 Mem2Seq 和其他基线。