[论文解读] Bayesian Probabilistic Matrix Factorization: A User Frequency Analysis

Cody Severinski, Ruslan Salakhutdinov|arXiv (Cornell University)|Jul 29, 2014

Recommender Systems and Techniques参考文献 4被引用 5

一句话总结

该论文提出了一种带有辅助特征和截断精度结构的贝叶斯概率矩阵分解模型，以解决协同过滤中的异方差性和过拟合问题。通过在约束PMF基础上引入吉布斯采样并引入截断精度模型，该方法在变分推断和标准MAP估计之上提升了性能，尤其在低频用户上表现更优。

ABSTRACT

Matrix factorization (MF) has become a common approach to collaborative filtering, due to ease of implementation and scalability to large data sets. Two existing drawbacks of the basic model is that it does not incorporate side information on either users or items, and assumes a common variance for all users. We extend the work of constrained probabilistic matrix factorization by deriving the Gibbs updates for the side feature vectors for items (Salakhutdinov and Minh, 2008). We show that this Bayesian treatment to the constrained PMF model outperforms simple MAP estimation. We also consider extensions to heteroskedastic precision introduced in the literature (Lakshminarayanan, Bouchard, and Archambeau, 2011). We show that this tends result in overfitting for deterministic approximation algorithms (ex: Variational inference) when the observed entries in the user / item matrix are distributed in an non-uniform manner. In light of this, we propose a truncated precision model. Our experimental results suggest that this model tends to delay overfitting.

研究动机与目标

• 解决标准概率矩阵分解的局限性，其假设方差同质且忽略用户/项目辅助信息。
• 通过建模异方差精度，提升在稀疏且非均匀分布评分数据上的模型鲁棒性，以缓解过拟合。
• 评估吉布斯采样与变分推断在用户频率和模型复杂度背景下的性能权衡。
• 研究辅助特征和精度建模对不同评分频率用户预测准确率的影响。

提出的方法

• 通过在用户和项目特征上使用共轭高斯-Wishart先验的贝叶斯层次模型，将辅助特征扩展到约束概率矩阵分解（PMF）中。
• 推导吉布斯采样的完整条件分布，以实现对潜在特征、精度和超参数的后验推断。
• 引入截断精度模型，以在确定性推断中限制过拟合，尤其在评分分布非均匀时。
• 将变分平均场近似与吉布斯采样进行比较，以评估其在准确率和收敛行为上的权衡。
• 显式建模用户和项目偏差，并引入全局精度和超先验以增强鲁棒性。
• 使用变分下界优化模型参数，同时分析其过拟合或收敛至次优模式的倾向。

实验结果

研究问题

• RQ1 在矩阵分解模型中，吉布斯采样与变分推断在预测性能和对过拟合的鲁棒性方面有何差异？
• RQ2 辅助特征在多大程度上提升了模型性能，尤其是在评分较少的用户上？
• RQ3 与学生t先验或固定精度相比，通过乘法因子建模异方差精度是否能提升性能？
• RQ4 所提出的截断精度模型在评分分布非均匀时，如何延迟变分推断中的过拟合？
• RQ5 模型性能如何随用户评分频率变化？贝叶斯框架是否能更好地处理低频用户？

主要发现

• 吉布斯采样在预测准确率上优于变分推断，尤其在低频用户上，因其能更好地探索后验不确定性。
• 变分推断容易过拟合或陷入次优模式，主要因其仅优化变分下界而未充分探索后验分布。
• 引入辅助特征显著提升了性能，尤其在评分稀疏的用户上，通过捕捉用户行为中的相关影响。
• 使用乘法因子的异方差精度模型提升了性能，但当评分分布非均匀时，标准变分推断会过拟合。
• 所提出的截断精度模型通过限制精度值的取值范围，延迟了变分推断中的过拟合，从而带来更稳定和泛化性更强的预测。
• 通过吉布斯采样实现完整后验推断的约束PMF的贝叶斯处理，结合辅助特征，为MAP估计提供了一种更鲁棒且准确的替代方案。