[论文解读] Probabilistic Ensemble of Collaborative Filters

Zhiyu Min, Dahua Lin|arXiv (Cornell University)|Jun 26, 2018

Recommender Systems and Techniques参考文献 19被引用 3

一句话总结

该论文提出了一种概率集成协同过滤模型（PECF），通过生成式概率框架逐步构建加权协同过滤器的混合模型。与标准集成方法不同，PECF通过在每次迭代中重新加权预测错误的项目，显式促进互补性，从而在MovieLens、CiteULike和Netflix数据集上实现最先进性能，优于L2 Boost和bACCAMS，收敛更快且性能提升稳定。

ABSTRACT

Collaborative filtering is an important technique for recommendation. Whereas it has been repeatedly shown to be effective in previous work, its performance remains unsatisfactory in many real-world applications, especially those where the items or users are highly diverse. In this paper, we explore an ensemble-based framework to enhance the capability of a recommender in handling diverse data. Specifically, we formulate a probabilistic model which integrates the items, the users, as well as the associations between them into a generative process. On top of this formulation, we further derive a progressive algorithm to construct an ensemble of collaborative filters. In each iteration, a new filter is derived from re-weighted entries and incorporated into the ensemble. It is noteworthy that while the algorithmic procedure of our algorithm is apparently similar to boosting, it is derived from an essentially different formulation and thus differs in several key technical aspects. We tested the proposed method on three large datasets, and observed substantial improvement over the state of the art, including L2Boost, an effective method based on boosting.

研究动机与目标

• 解决标准协同过滤在现实应用中处理高度多样的用户和项目行为时的局限性。
• 通过构建具有互补特性的集成模型，突破单一协同过滤器在多样化数据中的性能饱和瓶颈。
• 提出一种有原则的、渐进式的集成构建方法，避免依赖EM或随机初始化，转而通过重新加权实现互补性。
• 证明概率混合模型的协同过滤器可实现优于现有集成基线的推荐准确率。
• 研究潜在维度、重新加权参数和混合权重调度等关键超参数对模型性能的影响。

提出的方法

• 将集成建模为概率混合模型，其中每个组件均为具有从先验分布中抽取的潜在嵌入的协同过滤器。
• 推导一种渐进式算法，逐步向集成中添加新过滤器，每个新过滤器均基于预测误差对训练数据进行重新加权后进行训练。
• 使用带带宽σ的加权函数ρ对用户-项目对进行重新加权，抑制异常值并突出难以预测的样本。
• 通过类似线搜索的策略动态确定每个新组件的混合权重α，以平衡收敛速度与最终性能。
• 通过在当前集成预测错误的样本上重新加权数据来训练每个新过滤器，而非使用标准提升或EM方法，从而确保互补性。
• 以加权矩阵分解（WMF）作为基础预测器，但该框架具有通用性，可扩展至其他协同过滤模型。

实验结果

研究问题

• RQ1 概率集成协同过滤器是否能显著提升单模型及现有集成方法的推荐性能？
• RQ2 与基于EM的训练或随机初始化相比，渐进式、以互补性为导向的过滤器添加方式有何优势？
• RQ3 潜在维度d、重新加权带宽σ和重新加权阈值ν等关键超参数对模型性能有何影响？
• RQ4 与固定α值相比，动态混合权重调度（α）在收敛速度和最终准确率方面是否表现更优？
• RQ5 所提方法在WMF之外的模型上是否具备良好泛化能力？与非渐进基线（如RandEM或L2 EM）相比表现如何？

主要发现

• PECF在MovieLens、CiteULike和Netflix三个数据集上均持续优于L2 Boost和bACCAMS，实现显著且稳定的性能提升。
• 在MovieLens上，PECF相较于L2 Boost在Recall@20上提升1.5%，且收敛更快，前几轮迭代中即取得显著增益。
• MovieLens上的最优潜在维度d为50，进一步增加d带来的性能增益可忽略不计，表明集成多样性比模型容量更为关键。
• 最佳重新加权参数为ν = 10和σ = 1，可抑制异常值影响并稳定训练，且加权函数在误差e_ij ≈ 2后趋于饱和。
• 与固定α值相比，动态混合权重调度（α）表现更优：α = 0.2收敛过慢，α = 0.4早期表现欠佳，α = 0.8无法达到最优最终性能。
• 基于EM的RandEM基线表现显著劣于PECF，证实通过重新加权实现显式互补性至关重要，而随机初始化无法有效实现多样性。