[论文解读] Disentangling Language and Knowledge in Task-Oriented Dialogs

Dinesh Raghu, Nikhil Gupta+1 more|arXiv (Cornell University)|May 3, 2018

Topic Modeling参考文献 21被引用 4

一句话总结

该论文提出BoSsNet，一种新颖的编码器-解码器架构，采用集合序列（BoSs）记忆机制，将语言建模与知识定位从任务导向对话系统中解耦。通过将对话历史和知识库（KB）元组编码为袋状记忆结构中的序列，并引入复制增强损失，BoSsNet在分布外词汇（OOV）条件下实现最先进性能，尤其在bAbI OOV测试集上绝对提升超过10%，且对KB修改具有高度鲁棒性。

ABSTRACT

The Knowledge Base (KB) used for real-world applications, such as booking a movie or restaurant reservation, keeps changing over time. End-to-end neural networks trained for these task-oriented dialogs are expected to be immune to any changes in the KB. However, existing approaches breakdown when asked to handle such changes. We propose an encoder-decoder architecture (BoSsNet) with a novel Bag-of-Sequences (BoSs) memory, which facilitates the disentangled learning of the response's language model and its knowledge incorporation. Consequently, the KB can be modified with new knowledge without a drop in interpretability. We find that BoSsNet outperforms state-of-the-art models, with considerable improvements (> 10\%) on bAbI OOV test sets and other human-human datasets. We also systematically modify existing datasets to measure disentanglement and show BoSsNet to be robust to KB modifications.

研究动机与目标

• 为解决知识库（KB）随时间变化（如新增实体或信息更新）时，任务导向对话系统性能下降的挑战。
• 将语言模型与知识整合机制解耦，实现无需微调即可泛化至未见KB实体。
• 提升在分布外词汇（OOV）测试集及动态KB的真实世界数据集上的鲁棒性与性能。
• 构建系统性评估框架——知识适应性（KA），以衡量模型对KB修改的鲁棒性。
• 证明解耦学习可生成更具可解释性、语法正确性更高且信息更丰富的对话回复。

提出的方法

• BoSsNet采用双层记忆表示：扁平的集合序列（BoSs）记忆结构，用于存储对话历史与KB元组，同时保留每个话语或元组内部的序列上下文。
• 每个话语和KB元组通过双向GRU（Bi-GRU）进行编码，以实现对单个标记的上下文理解，同时保持序列级结构。
• 编码器仅使用记忆单元表示来关注对话与KB中的相关部分，从而实现对知识库的有效推理。
• 解码器采用复制增强的序列到序列架构，逐词生成回复，其新型损失函数鼓励从KB标记中复制，而非由语言模型生成。
• 引入额外损失项以通过惩罚非复制方式生成KB标记来促进解耦，强化语言与知识组件之间的分离。
• 训练期间应用标签丢弃，进一步将语言模型与知识接口解耦，提升对未见实体的泛化能力。

实验结果

研究问题

• RQ1 当知识库包含训练期间未见过的全新实体时，任务导向对话系统是否仍能保持高性能？
• RQ2 将语言模型与知识定位机制解耦是否能提升对KB修改的鲁棒性？
• RQ3 所提出的BoSs记忆结构在保留上下文信息的同时，多大程度上实现了对未见KB实体的有效复制？
• RQ4 与标准序列到序列模型相比，复制增强损失结合解耦正则化在OOV基准测试中如何提升泛化能力？
• RQ5 与现有基线模型相比，BoSsNet生成的对话回复在人类评估中是否更具语法正确性与信息量？

主要发现

• 与最先进模型相比，BoSsNet在bAbI OOV测试集上实现10.2%的绝对性能提升，证明其对未见实体具有强大泛化能力。
• 在CamRest数据集上，即使测试时100%的KB实体为未见实体，BoSsNet仍保持高性能，且在知识适应性（KA）评估中优于基线模型。
• 人类评估显示，BoSsNet生成的回复在信息量方面评分更高，语法正确性也略高于Seq2Seq、Mem2Seq和Seq2Seq+Copy。
• 模型在所有KB修改程度下均表现出稳健性能，随着未见实体比例从0%增至100%，性能下降极小。
• 引入知识适应性（KA）评估协议后，发现BoSsNet对KB变更的鲁棒性显著优于现有模型。
• 模型在CamRest与Stanford Multi-Domain等多个真实世界数据集上表现稳定且一致，证实其强大的泛化能力。