[论文解读] Deep Item-based Collaborative Filtering for Sparse Implicit Feedback

Daniel Galron, Yuri M. Brovman+3 more|arXiv (Cornell University)|Dec 26, 2018

Recommender Systems and Techniques参考文献 2被引用 5

一句话总结

本文提出了一种基于深度学习的、针对稀疏隐式反馈的基于物品的协同过滤方法，通过优化一个收敛于用户交互向量之间余弦相似度的相似度目标。在eBay的高波动性、稀疏数据集上进行评估，该模型在离线指标和A/B测试中均优于传统基于物品的CF，尽管数据极度稀疏，仍展现出更优的推荐质量。

ABSTRACT

Recommender systems are ubiquitous in the domain of e-commerce, used to improve the user experience and to market inventory, thereby increasing revenue for the site. Techniques such as item-based collaborative filtering are used to model users' behavioral interactions with items and make recommendations from items that have similar behavioral patterns. However, there are challenges when applying these techniques on extremely sparse and volatile datasets. On some e-commerce sites, such as eBay, the volatile inventory and minimal structured information about items make it very difficult to aggregate user interactions with an item. In this work, we describe a novel deep learning-based method to address the challenges. We propose an objective function that optimizes a similarity measure between binary implicit feedback vectors between two items. We demonstrate formally and empirically that a model trained to optimize this function estimates the log of the cosine similarity between the feedback vectors. We also propose a neural network architecture optimized on this objective. We present the results of experiments comparing the output of the neural network with traditional item-based collaborative filtering models on an implicit-feedback dataset, as well as results of experiments comparing different neural network architectures on user purchase behavior on eBay. Finally, we discuss the results of an A/B test that show marked improvement of the proposed technique over eBay's existing collaborative filtering recommender system.

研究动机与目标

• 为解决电子商务中用户-物品交互数据稀疏且波动性高的挑战，特别是针对eBay这类库存周转率高且结构化物品元数据有限的平台。
• 开发一种深度学习方法，即使在用户反馈极度稀疏的情况下也能有效建模物品相似性，克服传统基于物品协同过滤的局限性。
• 优化一个神经网络目标，直接估计隐式反馈向量之间的余弦相似度，从而在低数据环境下实现更优的表征学习。
• 通过离线评估和在线A/B测试对方法进行实证验证，展示其在现有生产推荐系统上的可测量改进。

提出的方法

• 该方法引入了一种新颖的目标函数，用于优化两个物品的二值隐式反馈向量之间的余弦相似度的对数。
• 模型通过用户交互模式来预测物品对之间的相似度，损失函数的形式化证明表明其会收敛到余弦相似度的对数。
• 采用双塔神经网络架构，每个物品的嵌入独立地从其用户交互向量中学习，相似度通过点积计算。
• 模型将物品特征（如标题、元数据）作为标记序列处理，将其嵌入为稠密向量后计算物品-物品相似度。
• 使用随机梯度下降进行模型优化，并通过负采样提高大规模稀疏数据上的训练效率。
• 该方法设计为可扩展且高效，适用于高吞吐量物品上新的生产环境中的实时推理。

实验结果

研究问题

• RQ1 深度学习模型能否从eBay这类高波动性电商平台中极度稀疏的隐式反馈数据中有效学习物品表征？
• RQ2 优化一个收敛于余弦相似度的目标函数，是否能带来相比传统基于物品协同过滤的下游推荐性能提升？
• RQ3 在无显式标签或丰富元数据的情况下，学习到的嵌入是否仍能捕捉物品之间的有意义语义关系？
• RQ4 该模型在真实世界在线A/B测试中与现有生产推荐系统相比表现如何？

主要发现

• 所提出的损失函数在理论上被证明会收敛到隐式反馈向量之间余弦相似度的对数，为该方法提供了坚实的理论基础。
• 在eBay的隐式反馈数据集上，离线评估显示该深度学习模型优于传统基于物品的协同过滤，尤其在召回率和精确率指标上表现更优。
• 在线A/B测试表明，关键业务指标（如用户参与度和转化率）相比eBay现有的协同过滤系统实现了统计显著提升。
• 学习到的物品嵌入捕捉到了有意义的语义关系：即使共享标记极少，主题相似的物品（如体育纪念品、手机壳）在嵌入空间中也表现出相近的距离。
• 该模型对数据稀疏性表现出鲁棒性，能够成功为交互记录极少的物品进行推荐，从而有效缓解了新物品或单件商品的冷启动问题。
• 对嵌入距离的定性分析表明，模型能够按类别和主题对物品进行分组，例如将体育收藏品和纪念品按运动项目和年代进行聚类。