[论文解读] Conversational Contextual Cues: The Case of Personalization and History for Response Ranking

Rami Al‐Rfou, Marc Pickett+4 more|arXiv (Cornell University)|Jun 1, 2016

Topic Modeling参考文献 30被引用 57

一句话总结

本文提出一种深度神经网络模型，通过结合对话历史和用户特定的个人历史，提升了开放域多轮对话中的响应排序性能。该模型在包含1.33亿个对话的21亿条Reddit评论上进行训练，采用多损失架构联合学习消息、上下文和用户嵌入，实现了SOTA性能，将Precision@1提升至86.60%。

ABSTRACT

We investigate the task of modeling open-domain, multi-turn, unstructured, multi-participant, conversational dialogue. We specifically study the effect of incorporating different elements of the conversation. Unlike previous efforts, which focused on modeling messages and responses, we extend the modeling to long context and participant's history. Our system does not rely on handwritten rules or engineered features; instead, we train deep neural networks on a large conversational dataset. In particular, we exploit the structure of Reddit comments and posts to extract 2.1 billion messages and 133 million conversations. We evaluate our models on the task of predicting the next response in a conversation, and we find that modeling both context and participants improves prediction accuracy.

研究动机与目标

• 通过建模超越即时消息的长序列对话历史，提升开放域多轮对话中的响应排序性能。
• 通过从用户在多个对话中的长期参与中学习用户特定嵌入，增强对话系统的个性化能力。
• 评估不同上下文信号（消息、对话历史、用户历史）对响应预测准确率的影响。
• 开发一种可扩展的端到端可微模型，避免使用手工特征或基于规则的系统。
• 探究多损失训练在解耦特征表示方面的有效性，以提升模型泛化能力和可解释性。

提出的方法

• 该模型使用深度神经网络作为二分类器，用于区分真实响应对与负样本（随机配对），其得分用于排序。
• 联合学习共享的词嵌入空间和用户嵌入空间，以同时建模语言和用户身份。
• 系统将对话上下文（最多25条先前消息）和用户个人历史（用户所有过往消息）作为输入特征。
• 采用多损失训练策略，每个特征（消息、上下文、作者）拥有独立的损失头，以防止特征主导并提升学习稳定性。
• 模型在大规模Reddit数据集上进行训练，包含21亿条评论和1.33亿个对话，数据源自32.6万个子论坛。
• 将单损失基线与多损失模型进行比较，以评估解耦监督对特征学习的益处。

实验结果

研究问题

• RQ1 将超越即时消息的对话历史纳入模型，对响应排序性能有何影响？
• RQ2 在多个对话中建模用户个人历史，在多大程度上提升了响应预测准确率？
• RQ3 与单损失基线相比，多损失训练目标是否带来了更优的特征表示学习？
• RQ4 在预测正确下一条响应时，消息、上下文和用户身份特征的相对贡献如何比较？
• RQ5 训练数据规模对模型性能有何影响？分类器准确率与排序质量之间有何相关性？

主要发现

• 在多损失模型中，引入对话上下文（最多25条消息）使Precision@1从基线的74.45提升至81.71。
• 在所有特征均使用的情况下，加入用户身份嵌入进一步将Precision@1提升至86.60，证明了个性化的重要价值。
• 多损失模型在所有配置下均优于单损失模型，尤其在用户身份表征方面提升最为显著。
• 二分类器准确率与排序性能（P@1）之间的皮尔逊相关系数达到+0.94至+0.99，表明训练与评估指标之间具有高度一致性。
• 学习曲线显示，随着训练数据规模增大，性能显著提升，且模型准确率可预测地随数据量增长。
• 通过在推理阶段对新用户随机初始化其嵌入并利用反向传播进行优化，系统表现出对新用户的鲁棒性，方法类似于段落向量技术。