[论文解读] Probabilistic Models for Unified Collaborative and Content-Based Recommendation in Sparse-Data Environments

Alexandrin Popescul, Lyle Ungar+2 more|arXiv (Cornell University)|Jan 10, 2013

Recommender Systems and Techniques参考文献 25被引用 440

一句话总结

本文提出了一种统一的概率框架，通过霍夫曼主题模型的三重共现扩展，联合建模用户-项目交互与项目内容。通过EM学习自然平衡协同过滤与基于内容的信号，该模型在稀疏数据环境下显著优于k-NN，在ResearchIndex数据集上展现出更优的推荐质量与对局部方法的泛化能力。

ABSTRACT

Recommender systems leverage product and community information to target products to consumers. Researchers have developed collaborative recommenders, content-based recommenders, and (largely ad-hoc) hybrid systems. We propose a unified probabilistic framework for merging collaborative and content-based recommendations. We extend Hofmann's [1999] aspect model to incorporate three-way co-occurrence data among users, items, and item content. The relative influence of collaboration data versus content data is not imposed as an exogenous parameter, but rather emerges naturally from the given data sources. Global probabilistic models coupled with standard Expectation Maximization (EM) learning algorithms tend to drastically overfit in sparse-data situations, as is typical in recommendation applications. We show that secondary content information can often be used to overcome sparsity. Experiments on data from the ResearchIndex library of Computer Science publications show that appropriate mixture models incorporating secondary data produce significantly better quality recommenders than k-nearest neighbors (k-NN). Global probabilistic models also allow more general inferences than local methods like k-NN.

研究动机与目标

• 为通过统一协同与基于内容的信号来应对推荐系统中的数据稀疏性挑战。
• 开发一种全局概率模型，通过次级内容信息避免在稀疏环境下的过拟合。
• 实现协同与基于内容影响的自然、数据驱动平衡，无需外部超参数。
• 在推荐质量与泛化能力方面超越k-NN等局部方法。
• 在真实稀疏数据场景中展示融合多源共现数据的混合模型的有效性。

提出的方法

• 将霍夫曼主题模型扩展，以建模用户、项目与项目内容之间的三重共现。
• 采用生成式概率框架，将用户偏好建模为基于内容与交互数据导出的潜在主题的混合。
• 应用期望最大化（EM）算法进行参数学习，实现对潜在主题与观测数据的联合推断。
• 引入次级内容特征（如出版物元数据）以在稀疏数据环境中正则化并稳定学习过程。
• 将用户-项目评分与项目内容视为给定潜在主题下的条件独立变量，从而实现统一建模。
• 采用混合模型，根据数据可用性与一致性动态加权协同与基于内容的信号。

实验结果

研究问题

• RQ1 统一的概率模型能否在稀疏推荐环境中有效结合协同与基于内容的信号？
• RQ2 如何利用次级内容信息减少全局概率模型在数据稀疏性下的过拟合？
• RQ3 所提出的模型在推荐质量与泛化能力方面是否优于k-NN等局部方法？
• RQ4 协同与基于内容的信号在统一生成框架中在多大程度上能自然平衡？
• RQ5 该模型能否支持比k-NN等局部邻域方法更丰富的推理？

主要发现

• 所提出的统一模型在ResearchIndex数据集上显著优于k-NN的推荐质量，尤其在稀疏数据环境中。
• 次级内容信息的整合有效缓解了全局概率模型在稀疏设置下的过拟合，否则这些模型会严重受损。
• 协同与基于内容信号的相对影响自然地从数据中浮现，无需手动调整超参数。
• 全局概率建模相比k-NN等局部方法能实现更广泛且稳健的推理，后者仅限于最近邻预测。
• 该模型通过一致表示用户偏好在交互与项目内容中的潜在主题，实现了更优性能。
• 实证结果证实，融合多源数据的混合模型产生的推荐质量高于孤立的协同或基于内容的方法。