[论文解读] LSTM-based Mixture-of-Experts for Knowledge-Aware Dialogues

Phong Ba Le, Marc Dymetman+1 more|arXiv (Cornell University)|May 5, 2016

Topic Modeling参考文献 11被引用 10

一句话总结

本文提出一种基于LSTM的专家混合模型，通过动态组合神经对话模型与神经问答（QA）模型，生成具备知识感知能力的对话。该模型利用上下文感知的门控机制对专家进行软注意力分配，在知识对齐的值标记上将困惑度相对降低了38%（46.8 vs. 75.8），显著提升了事实准确性，且无需对对话模型进行新数据的微调。

ABSTRACT

We introduce an LSTM-based method for dynamically integrating several word-prediction experts to obtain a conditional language model which can be good simultaneously at several subtasks. We illustrate this general approach with an application to dialogue where we integrate a neural chat model, good at conversational aspects, with a neural question-answering model, good at retrieving precise information from a knowledge-base, and show how the integration combines the strengths of the independent components. We hope that this focused contribution will attract attention on the benefits of using such mixtures of experts in NLP.

研究动机与目标

• 为解决端到端神经对话模型在从外部源准确检索事实知识方面的局限性。
• 在无需联合微调的情况下，结合循环神经网络对话模型与知识对齐的QA模型的优势。
• 开发一种可泛化的框架，利用基于注意力的门控机制在序列生成中集成多个词预测专家。
• 通过利用外部知识库与动态路由，减轻QA模型的记忆负担。
• 在包含结构化知识库三元组的真实世界移动端支持对话数据集上评估该方法。

提出的方法

• 该模型使用LSTM在每个时间步将对话历史编码为隐藏状态向量。
• 通过一个Softmax层基于编码的历史计算K个专家模型的混合权重，其中权重表示对专家的注意力概率。
• 最终的词概率为专家预测的加权和：p(w|w₁ᵗ,C) = Σₖ p(k|w₁ᵗ) × pₖ(w|w₁ᵗ)。
• 对于两个专家（对话与QA），门控权重α通过将学习到的线性变换应用于对话模型隐藏状态后应用Sigmoid函数计算。
• 集成模型采用加权交叉熵目标函数进行端到端训练，通过缩放因子β(w)强调罕见的事实标记（如数值型）。
• 解码过程采用统一代价搜索，并施加约束：每个响应最多回答一个问题，以确保连贯性与精确性。

实验结果

研究问题

• RQ1 动态路由的专家混合模型是否能在不损害对话流畅性的情况下提升对话系统中的事实准确性？
• RQ2 预训练的对话模型与QA模型在基于注意力的门控机制下，能在多大程度上被有效结合？
• RQ3 与独立的对话模型相比，该集成模型是否在知识对齐的标记上降低了困惑度？
• RQ4 该模型是否能在不微调对话组件的情况下泛化到新设备，而依赖外部知识？
• RQ5 考虑到这些事实标记在数据中频率较低，其性能与整体困惑度相比如何？

主要发现

• 与独立的对话模型相比，该集成模型在知识对齐的值标记上将困惑度降低了38%（46.8 vs. 75.8），表明事实准确性显著提升。
• 尽管整体困惑度略有上升（15.4 vs. 14.7），但模型在罕见但关键的标记（如设备规格与数值型信息）上取得了显著提升。
• 模型成功生成了能从知识库中精确检索信息的响应，如设备特定属性查询的定性示例所示。
• QA模型的预测仅在需要时被有效路由，因为门控机制学会了主要在知识查询时激活它。
• 由于对话模型未在新数据上进行微调，因此对新设备发布保持鲁棒性；仅需用新知识库条目更新QA模型。
• 该方法可推广至多个专家，每个专家专精于不同任务，LSTM门控机制实现了上下文敏感的路由。