[论文解读] Incorporating Side Information in Probabilistic Matrix Factorization with Gaussian Processes

Ryan P. Adams, George E. Dahl+1 more|arXiv (Cornell University)|Aug 9, 2014

Gaussian Processes and Bayesian Inference参考文献 22被引用 52

一句话总结

本文提出了一种基于高斯过程增强的贝叶斯矩阵分解（PMF）框架，通过将协变量空间（如时间、地点或用户/电影属性）中的潜在因子建模为平滑函数，整合了辅助信息。通过在相关PMF问题之间使用高斯过程先验共享信息，该方法在协同过滤任务中提升了预测准确性，其在职业篮球比赛得分预测任务中取得了显著优于标准PMF的性能提升。

ABSTRACT

Probabilistic matrix factorization (PMF) is a powerful method for modeling data associ- ated with pairwise relationships, Finding use in collaborative Filtering, computational bi- ology, and document analysis, among other areas. In many domains, there are additional covariates that can assist in prediction. For example, when modeling movie ratings, we might know when the rating occurred, where the user lives, or what actors appear in the movie. It is difficult, however, to incorporate this side information into the PMF model. We propose a framework for incorporating side information by coupling together multi- ple PMF problems via Gaussian process priors. We replace scalar latent features with func- tions that vary over the covariate space. The GP priors on these functions require them to vary smoothly and share information. We apply this new method to predict the scores of professional basketball games, where side information about the venue and date of the game are relevant for the outcome.

研究动机与目标

• 解决标准贝叶斯矩阵分解（PMF）在整合时间、地点或用户人口统计等辅助协变量方面的局限性。
• 通过利用结构化的辅助信息，提升成对关系建模的预测准确性。
• 开发一个统一框架，通过在潜在因子上共享高斯过程先验，将多个PMF问题耦合起来。
• 在日期或场馆等协变量空间中，实现潜在特征的平滑、信息共享表示。
• 在真实世界数据上展示该方法的有效性，特别是在体育结果预测中的表现。

提出的方法

• 将PMF中的标量潜在特征替换为以协变量（如日期、场馆）为自变量的函数，并通过高斯过程建模。
• 应用高斯过程先验，以在相关PMF问题之间强制实现平滑性和共享结构。
• 对潜在因子函数使用联合高斯过程先验，以实现在不同数据实例之间的信息共享。
• 采用分层贝叶斯框架，将潜在因子设为高斯过程分布。
• 通过变分贝叶斯或期望传播进行近似推理，以实现大规模数据集的可扩展性。
• 通过最大化边际似然来优化超参数，使模型能够适应辅助信息。

实验结果

研究问题

• RQ1 高斯过程先验能否有效建模随时间或地点等辅助信息平滑变化的潜在因子？
• RQ2 通过高斯过程整合辅助信息后，在矩阵分解中相比标准PMF，预测性能提升程度如何？
• RQ3 在相关PMF问题之间共享高斯过程先验，在多大程度上提升了泛化能力并减少了过拟合？
• RQ4 该框架能否在具有结构化协变量的真实世界协同过滤任务中有效应用？
• RQ5 在体育结果建模中，辅助信息对预测准确性的影响如何？

主要发现

• 与标准PMF相比，所提出的方法在职业篮球比赛得分预测中显著提升了预测准确性。
• 整合场馆和日期等辅助信息后，预测性能获得了可测量的提升。
• 基于高斯过程的潜在因子耦合机制，实现了在相关比赛之间的有效信息共享，从而提升了泛化能力。
• 该模型在具有结构化协变量的真实世界数据集中表现出良好的鲁棒性和可扩展性。
• 使用高斯过程先验使得潜在因子在协变量空间中具有平滑且可解释的表示。
• 实证结果证实，当辅助信息被适切建模时，其对预测性能有显著贡献。