[论文解读] Collaborative Deep Learning for Recommender Systems

Hao Wang, Naiyan Wang+1 more|arXiv (Cornell University)|Sep 10, 2014

Recommender Systems and Techniques被引用 24

一句话总结

本文提出协同深度学习（CDL），一种分层贝叶斯模型，通过联合学习物品内容的深度表征与用户评分的协同过滤，解决推荐系统中的评分稀疏性问题。通过将堆叠去噪自编码器与概率矩阵分解相结合，CDL在三个真实世界数据集上实现了最先进性能，尤其在稀疏数据条件下显著优于现有方法（如CTR）。

ABSTRACT

Collaborative filtering (CF) is a successful approach commonly used by many recommender systems. Conventional CF-based methods use the ratings given to items by users as the sole source of information for learning to make recommendation. However, the ratings are often very sparse in many applications, causing CF-based methods to degrade significantly in their recommendation performance. To address this sparsity problem, auxiliary information such as item content information may be utilized. Collaborative topic regression (CTR) is an appealing recent method taking this approach which tightly couples the two components that learn from two different sources of information. Nevertheless, the latent representation learned by CTR may not be very effective when the auxiliary information is very sparse. To address this problem, we generalize recent advances in deep learning from i.i.d. input to non-i.i.d. (CF-based) input and propose in this paper a hierarchical Bayesian model called collaborative deep learning (CDL), which jointly performs deep representation learning for the content information and collaborative filtering for the ratings (feedback) matrix. Extensive experiments on three real-world datasets from different domains show that CDL can significantly advance the state of the art.

研究动机与目标

• 解决协同过滤（CF）方法因用户评分矩阵稀疏而导致的性能下降问题。
• 克服现有混合方法（尤其是松散耦合方法）的局限性——这些方法依赖人工特征工程或无法适应稀疏的辅助内容。
• 开发一种紧密耦合、端到端的框架，联合学习来自物品内容的深度表征与来自用户评分的协同信号。
• 通过在概率协同框架内利用深度学习的表征能力，提升推荐准确率与鲁棒性，尤其针对新物品或极少评分的物品。

提出的方法

• 构建一个分层贝叶斯模型，结合堆叠去噪自编码器（SDAEs）以从物品内容学习深度表征，以及概率矩阵分解（PMF）以建模用户-物品评分。
• 通过联合似然函数整合基于内容与基于评分的学习，实现表征与协同信号之间的双向交互。
• 使用最大后验概率（MAP）估计学习模型参数，采用基于采样的算法进行贝叶斯推断，将反向传播扩展至广义贝叶斯框架。
• 采用具有多层结构的深度神经网络架构，从文本内容中学习分层非线性特征，提升语义理解能力，超越词袋模型。
• 采用GPU加速优化与随机梯度下降，使模型可扩展至大规模数据集（包括Netflix）。
• 支持灵活集成其他深度学习模型（如CNN）以实现未来扩展，尤其适用于建模词序与上下文信息。

实验结果

研究问题

• RQ1 从物品内容中进行深度表征学习是否能改善评分稀疏条件下的协同过滤性能？
• RQ2 联合学习内容与评分信号的方法在推荐准确率上，相较于孤立学习或松散耦合方法有何差异？
• RQ3 分层贝叶斯模型在多大程度上能有效结合深度神经网络与协同过滤，以提升泛化能力？
• RQ4 当仅有少量评分时，模型对用户偏好变化的敏感性如何？
• RQ5 所提出的框架能否高效扩展至大规模真实世界数据集（如Netflix）？

主要发现

• CDL在三个真实世界数据集上显著优于CTR及其他混合方法，实现最先进推荐准确率，尤其在评分稀疏条件下表现突出。
• 在MovieLens数据集上，当用户仅有4次评分时，CDL的精确率达到50%，而CTR仍停留在20%，表明其对用户偏好演变具有更强适应性。
• 当用户I仅有两次评分时，CDL与CTR的精确率均为30%，但CDL在用户品味随时间演变时仍能保持高性能，而CTR则无法适应。
• 在Netflix数据集上，CDL约在100个周期内达到满意性能，每个周期仅需60秒，表明其对大规模数据具有强大可扩展性。
• 模型的贝叶斯形式化允许合理处理不确定性，并可潜在集成额外的辅助信息，从而增强鲁棒性。
• CDL能够从文本内容中学习有意义且上下文感知的表征，从而生成比CTR更准确、更具可解释性的推荐；CTR会错误理解词共现关系（如'flows'与'formation'）。