[论文解读] Large-scale Collaborative Filtering with Product Embeddings

Thom Lake, Sinead A. Williamson+3 more|arXiv (Cornell University)|Jan 11, 2019

Recommender Systems and Techniques参考文献 41被引用 9

一句话总结

本文提出了一种基于注意力机制的协同过滤模型，利用预训练的产品嵌入以提升大规模个性化推荐性能。通过根据与目标商品的相关性动态加权用户的历史交互行为，该方法在离线评估中达到最先进性能，并在在线A/B测试中优于生产系统，展示了在真实电商环境中卓越的覆盖范围、效率和适应性。

ABSTRACT

The application of machine learning techniques to large-scale personalized recommendation problems is a challenging task. Such systems must make sense of enormous amounts of implicit feedback in order to understand user preferences across numerous product categories. This paper presents a deep learning based solution to this problem within the collaborative filtering with implicit feedback framework. Our approach combines neural attention mechanisms, which allow for context dependent weighting of past behavioral signals, with representation learning techniques to produce models which obtain extremely high coverage, can easily incorporate new information as it becomes available, and are computationally efficient. Offline experiments demonstrate significant performance improvements when compared to several alternative methods from the literature. Results from an online setting show that the approach compares favorably with current production techniques used to produce personalized product recommendations.

研究动机与目标

• 解决在4000万用户和1000万商品规模下，传统矩阵分解在大规模协同过滤中的可扩展性和计算负担问题。
• 通过利用预训练的商品嵌入进行用户偏好建模，提升推荐性能，减少从零开始重新训练的需求。
• 开发一种上下文感知的、基于注意力的机制，为给定查询商品选择相关的历史交互行为，增强个性化推荐能力。
• 实现实时推理的高效性与低延迟，并支持在生产推荐流水线中快速集成新数据和新特征。
• 证明基于注意力机制的模型结合预训练嵌入，在离线和在线设置下均优于传统协同过滤和非个性化基线方法。

提出的方法

• 模型使用预训练的商品嵌入——通过适配于协同过滤的跳字模型风格算法学习得到——提供商品的稠密共享表征。
• 在用户偏好建模方面，注意力机制基于与查询商品的相似性，为用户的历史交互行为计算上下文相关的权重。
• 用户-商品对的最终预测得分通过商品嵌入相似度的加权和计算得出，其中注意力权重由前馈神经网络学习得到。
• 注意力机制使模型能够动态聚焦于相关的历史行为，相比固定用户嵌入更具适应性。
• 模型采用隐式反馈进行端到端训练，通过从经验交互分布中采样负样本，以优化NDCG和Recall@K等排序指标。
• 该架构支持增量更新且计算高效，支持在大规模场景下实现实时推理。

实验结果

研究问题

• RQ1 注意力机制能否通过根据目标商品的相关性动态加权用户历史交互行为，从而改善个性化排序？
• RQ2 基于预训练商品嵌入的注意力模型在排序性能上，与传统协同过滤和非个性化基线相比表现如何？
• RQ3 预训练商品嵌入在多大程度上能提升大规模推荐系统的可扩展性并降低训练成本？
• RQ4 该注意力模型在不同评估指标和采样分布下是否具备良好的泛化能力？
• RQ5 与现有生产环境中的个性化推荐算法相比，注意力机制能否在真实生产环境中提升在线点击率（CTR）？

主要发现

• 在所有评估设置下，基于注意力的模型在NDCG和Recall@K上均取得统计上显著的提升，优于所有基线方法，包括非个性化方法和矩阵分解方法。
• 在基于经验分布采样负样本的离线评估中，注意力模型在NDCG和Recall@K上均达到最高值，相比第二好的基线方法相对提升超过10%。
• 在在线A/B测试中，使用该模型生成的内容实现了最高的点击率（CTR），且由该模型生成的前两名表现最佳的内容项目也位居前列。
• 将注意力网络深度从2层增加到4层带来了显著的性能提升，但深度超过4层后收益递减。
• 该模型在不同采样分布（如均匀分布与经验分布）下均表现出稳健性，在各种评估条件下保持强性能。
• 注意力机制提供了可解释的注意力权重，揭示了哪些历史交互影响了推荐结果，增强了模型的可解释性。