[论文解读] A Graphical Model Formulation of Collaborative Filtering Neighbourhood Methods with Fast Maximum Entropy Training

Aaron Defazio, Tib rio S. Caetano|arXiv (Cornell University)|Jun 18, 2012

Recommender Systems and Techniques参考文献 18被引用 11

一句话总结

本文提出了'项目字段'（item fields），一种协同过滤邻域方法的图模型公式化方法，将项目相似性建模为无向图模型，从而能够利用非局部图信息实现高效预测。该方法提出了一种基于Bethe近似的快速最大熵训练方法，在Movielens数据集上相比最大似然估计实现了两个数量级的速度提升，且精度损失极小。

ABSTRACT

Item neighbourhood methods for collaborative filtering learn a weighted graph over the set of items, where each item is connected to those it is most similar to. The prediction of a user's rating on an item is then given by that rating of neighbouring items, weighted by their similarity. This paper presents a new neighbourhood approach which we call item fields, whereby an undirected graphical model is formed over the item graph. The resulting prediction rule is a simple generalization of the classical approaches, which takes into account non-local information in the graph, allowing its best results to be obtained when using drastically fewer edges than other neighbourhood approaches. A fast approximate maximum entropy training method based on the Bethe approximation is presented, which uses a simple gradient ascent procedure. When using precomputed sufficient statistics on the Movielens datasets, our method is faster than maximum likelihood approaches by two orders of magnitude.

研究动机与目标

• 为解决传统基于邻域的协同过滤方法效率低下、需要密集项目相似性图的问题。
• 通过引入项目图中的非局部结构信息（而非仅局部邻居），提升预测准确性。
• 开发一种可扩展的基于邻域的协同过滤训练过程，避免最大似然估计带来的计算负担。
• 在概率图模型框架内，利用Bethe近似实现快速、近似的推理与学习。

提出的方法

• 将基于项目的协同过滤公式化为项目上的无向图模型，其中节点代表项目，边代表相似性。
• 将预测规则定义为对图模型的边际化，通过引入长程依赖关系，推广经典邻域方法。
• 采用Bethe近似推导项目评分上最大熵分布的可处理近似。
• 利用预计算的充分统计量，推导出参数学习的梯度上升过程，实现快速优化。
• 通过预计算的项目相似性和评分统计量加速训练，将计算量减少至仅几次梯度上升迭代。
• 应用Bethe自由能近似，在模型准确性和计算效率之间实现平衡，用于参数估计。

实验结果

研究问题

• RQ1 概率图模型公式化能否提升基于邻域的协同过滤在准确性和效率方面的表现？
• RQ2 在项目相似性图中引入非局部图结构信息，对预测性能有何影响？
• RQ3 Bethe近似能否在不牺牲预测质量的前提下，实现协同过滤模型的快速、可扩展训练？
• RQ4 与传统最大似然方法相比，使用Bethe近似进行最大熵训练在计算上具有何种优势？
• RQ5 在保持或提升预测准确性的情况下，项目图中的边数可被减少到何种程度？

主要发现

• 项目字段模型在Movielens数据集上实现了最先进性能，且使用的边数远少于标准邻域方法，显著提升了稀疏性效率。
• 当使用预计算的充分统计量时，所提出的基于Bethe近似的最大熵训练方法比最大似然估计快两个数量级。
• 即使在稀疏项目图上，该方法仍能保持高预测准确性，表现出对连接性降低的强鲁棒性。
• 图模型中使用非局部信息可实现比纯局部邻域平均更好的泛化能力。
• 基于Bethe近似的梯度上升过程收敛迅速，且在大规模数据集上具有良好可扩展性。
• 该模型在准确性和训练速度方面均优于经典邻域方法，尤其在低数据场景下表现更优。