[论文解读] Hierarchical Pointer Memory Network for Task Oriented Dialogue

Dinesh Raghu, Nikhil Gupta|arXiv (Cornell University)|May 3, 2018

Topic Modeling被引用 8

一句话总结

本文提出 BoSsNet，一种具有语料袋（Bag-of-Sequences, BoSs）记忆的分层指针记忆网络，将任务导向对话中的响应生成与知识库（KB）更新解耦。通过实现语言与知识的解耦学习，BoSsNet 在知识库演化时仍能保持性能，在 bAbI OOV 基准测试中性能优于最先进模型超过 10%，并展现出对知识库修改的鲁棒性。

ABSTRACT

The Knowledge Base (KB) used for real-world applications, such as booking a movie or restaurant reservation, keeps changing over time. End-to-end neural networks trained for these task-oriented dialogs are expected to be immune to any changes in the KB. However, existing approaches breakdown when asked to handle such changes. We propose an encoder-decoder architecture (BoSsNet) with a novel Bag-of-Sequences (BoSs) memory, which facilitates the disentangled learning of the response's language model and its knowledge incorporation. Consequently, the KB can be modified with new knowledge without a drop in interpretability. We find that BoSsNet outperforms state-of-the-art models, with considerable improvements (> 10\%) on bAbI OOV test sets and other human-human datasets. We also systematically modify existing datasets to measure disentanglement and show BoSsNet to be robust to KB modifications.

研究动机与目标

• 解决端到端神经模型在任务导向对话中因知识库（KB）随时间变化而变得脆弱的问题。
• 开发一种模型，即使在 KB 更新时也能保持可解释性与性能，与现有方法在变化下失效的情况形成对比。
• 将响应语言建模的学习与知识整合解耦，实现对新 KB 条目模块化且稳健的适应。
• 通过修改现有数据集以模拟 KB 演化，系统性地评估模型的鲁棒性。

提出的方法

• 提出 BoSsNet，一种编码器-解码器架构，配备新颖的语料袋（BoSs）记忆，以解耦形式存储和检索知识。
• 使用分层指针机制关注 KB 事实序列，实现选择性且上下文感知的知识检索。
• 采用记忆模块，独立于响应生成过程，保持相关 KB 内容的固定大小表示。
• 引入解耦训练目标，将语言建模与知识定位分离，提升泛化能力。
• 支持 KB 更新而无需微调响应生成器，从而保持模型可解释性与性能。
• 使用基于 BoSs 记忆注意力的指针-生成网络，根据上下文与检索到的事实生成响应。

实验结果

研究问题

• RQ1 当底层知识库通过新增条目被修改时，任务导向对话模型是否仍能保持性能？
• RQ2 模型在多大程度上能将语言生成与知识定位解耦，以支持对 KB 变化的稳健适应？
• RQ3 与现有架构相比，所提出的 BoSs 记忆在分布外词汇（OOV）测试集上的泛化能力提升程度如何？
• RQ4 当基准数据集中的 KB 内容被系统性修改时，模型性能是显著下降还是保持稳定？

主要发现

• 与最先进模型相比，BoSsNet 在 bAbI OOV 测试集上性能提升超过 10%。
• 即使 KB 被新增事实修改，模型仍能保持高性能，展现出对知识库演化的强大鲁棒性。
• 对现有数据集进行系统性修改表明，与基线模型相比，BoSsNet 对 KB 变化具有显著更高的鲁棒性。
• 解耦学习机制实现了无需重训练响应生成器即可对 KB 进行可解释且模块化的更新。
• 模型在人类-人类对话数据集上的表现始终更优，表明其在多样化场景中具备强大的泛化能力。
• BoSs 记忆机制能有效捕捉并检索相关 KB 内容，从而提升响应的相关性与准确性。