[论文解读] Learning Personalized End-to-End Goal-Oriented Dialog

Liangchen Luo, Wenhao Huang+3 more|arXiv (Cornell University)|Nov 12, 2018

Topic Modeling参考文献 18被引用 4

一句话总结

本文提出 Personalized MemN2N，一种端到端的记忆网络模型，通过整合用户资料嵌入与偏好建模，提升面向目标的对话系统性能。通过利用基于资料的响应选择与偏好驱动的候选排序，该模型在响应准确率上提升7%，并在人工评估中显著优于基线模型，在任务完成率与用户满意度方面表现更优。

ABSTRACT

Most existing works on dialog systems only consider conversation content while neglecting the personality of the user the bot is interacting with, which begets several unsolved issues. In this paper, we present a personalized end-to-end model in an attempt to leverage personalization in goal-oriented dialogs. We first introduce a Profile Model which encodes user profiles into distributed embeddings and refers to conversation history from other similar users. Then a Preference Model captures user preferences over knowledge base entities to handle the ambiguity in user requests. The two models are combined into the Personalized MemN2N. Experiments show that the proposed model achieves qualitative performance improvements over state-of-the-art methods. As for human evaluation, it also outperforms other approaches in terms of task completion rate and user satisfaction.

研究动机与目标

• 解决基于内容的对话模型无法适应用户个性与偏好的局限性。
• 在无需中间监督或预训练的情况下，实现在面向目标对话中的端到端个性化。
• 提升响应相关性、语言风格适应性以及用户请求中的歧义消解能力。
• 利用基于资料的偏好向量对知识库实体的用户偏好进行建模。
• 通过自动指标与人工评估相结合的方式，评估模型的有效性。

提出的方法

• 资料模型将用户资料编码为分布式嵌入，并通过全局记忆检索与该用户相似的用户的历史对话。
• 偏好模型利用依赖于资料的注意力权重，学习用户对知识库属性（如联系方式类型）的偏好。
• 两个模型整合进统一的 Personalized MemN2N 框架中，基于记忆网络架构构建。
• 响应选择采用加权评分机制，其中资料嵌入通过学习到的倾向权重影响候选排序。
• 模型采用 L2 归一化的偏好向量，表示用户在知识库各列（如电话号码与社交媒体）上的偏好。
• 系统在个性化 bAbI 对话数据集上进行端到端训练，联合优化资料与偏好组件。

实验结果

研究问题

• RQ1 端到端学习用户资料是否能提升面向目标对话中的响应相关性？
• RQ2 在知识库实体存在歧义时，整合用户偏好对对话性能有何影响？
• RQ3 全局记忆中相似用户的历史对话在多大程度上提升个性化效果？
• RQ4 基于资料的响应选择是否能提升人工评估中的任务完成率与用户满意度？
• RQ5 资料嵌入与偏好向量在多大程度上有助于解决用户请求中的歧义？

主要发现

• Personalized MemN2N 在完整对话任务（任务5）中，相较于最佳基线模型，响应准确率绝对提升7%。
• 人工评估显示，任务完成率较标准 MemN2N 基线提升 27.6%，满意度得分提升 14.3%（p < 0.03）。
• 资料嵌入显著提高了与用户资料匹配的候选项的倾向权重，如生成权重的混淆矩阵中对角线数值更高所示。
• 在控制实验中，使用相似用户历史对话的全局记忆组件使性能提升 4.5 个百分点（准确率 91.70% vs. 87.17%）。
• 模型成功学习到年轻用户偏好社交媒体联系方式，而年长用户偏好电话号码，这一结论由学习到的偏好向量证实。
• 资料与偏好建模的整合实现了语言风格与推荐策略的动态适应，有效降低了用户请求中的歧义。