[论文解读] Collaborative Ensemble Learning: Combining Collaborative and Content-Based Information Filtering via Hierarchical Bayes

Kai Yu, Anton Schwaighofer+3 more|arXiv (Cornell University)|Oct 19, 2012

Recommender Systems and Techniques参考文献 28被引用 69

一句话总结

本文提出协同集成学习（Collaborative Ensemble Learning），一种基于分层贝叶斯建模的概率框架，统一了协同过滤（CF）与基于内容的过滤（CBF）。该方法通过概率支持向量机建模用户偏好，并在用户偏好集合的集成模型中进行组合，实现预测高精度，且无需全局重训练，在Reuters-21578和艺术图像数据集上得到验证。

ABSTRACT

Collaborative filtering (CF) and content-based filtering (CBF) have widely been used in information filtering applications. Both approaches have their strengths and weaknesses which is why researchers have developed hybrid systems. This paper proposes a novel approach to unify CF and CBF in a probabilistic framework, named collaborative ensemble learning. It uses probabilistic SVMs to model each user's profile (as CBF does).At the prediction phase, it combines a society OF users profiles, represented by their respective SVM models, to predict an active users preferences(the CF idea).The combination scheme is embedded in a probabilistic framework and retains an intuitive explanation.Moreover, collaborative ensemble learning does not require a global training stage and thus can incrementally incorporate new data.We report results based on two data sets. For the Reuters-21578 text data set, we simulate user ratings under the assumption that each user is interested in only one category. In the second experiment, we use users' opinions on a set of 642 art images that were collected through a web-based survey. For both data sets, collaborative ensemble achieved excellent performance in terms of recommendation accuracy.

研究动机与目标

• 通过在单一概率框架中整合协同过滤（CF）与基于内容的过滤（CBF）的优势，解决二者独立使用时的局限性。
• 通过将用户偏好建模与集体用户行为相结合，克服CF中的冷启动问题以及CBF中的稀疏性问题。
• 开发一种可扩展的、支持增量学习的推荐系统，避免全局重训练的同时保持高预测精度。
• 通过利用基于本地偏好的集成机制，实现实时适应新用户和新项目。
• 为信息过滤中整合多样化用户建模方法提供严谨的概率基础。

提出的方法

• 使用概率支持向量机（PSVMs）对每个用户的偏好配置进行建模，捕捉来自项目属性的内容特征。
• 将集体用户行为表示为“偏好群体”（society of profiles），其中每个用户的PSVM作为其偏好的局部模型。
• 通过分层贝叶斯框架组合个体用户模型，以预测活跃用户偏好，利用协同信号。
• 采用概率组合策略，根据用户偏好与活跃用户的关联性和相似性对用户配置进行加权，确保鲁棒性。
• 采用非全局训练策略——每个用户的模型通过增量方式更新，实现无需重训练整个系统的实时适应。
• 应用分层贝叶斯方法对用户偏好的不确定性进行建模，并在用户间共享信息，提升泛化能力。

实验结果

研究问题

• RQ1 如何在单一概率框架内有效统一协同过滤与基于内容的过滤？
• RQ2 分层贝叶斯用户偏好集成模型是否能在推荐精度上超越传统CF与CBF方法？
• RQ3 所提出方法是否支持无需全局重训练的增量学习？
• RQ4 该集成模型在冷启动用户和稀疏数据场景下的泛化能力如何？
• RQ5 通过概率聚合方式组合本地用户偏好对推荐性能有何影响？

主要发现

• 所提出的协同集成学习方法在Reuters-21578文本数据集和艺术图像调查数据集上均实现了优异的推荐准确率。
• 在Reuters-21578数据集上，该方法在单一类别兴趣假设下模拟了用户评分，并在数据稀疏的情况下表现出强劲性能。
• 对于包含642幅艺术图像的数据集，系统有效利用用户意见，仅通过本地配置更新即实现了高精度推荐。
• 该方法通过严谨的概率集成方式结合了CF与CBF的互补优势，优于基线的CF与CBF方法。
• 其增量学习能力使系统能够无需全局重训练即适应新用户和新项目，同时保持高效性。
• 分层贝叶斯框架提供了稳健的不确定性估计并提升了泛化能力，尤其在低数据场景下表现更优。