[论文解读] Collaborative Filtering with Side Information: a Gaussian Process Perspective

Hyunjik Kim, Xiaoyu Lu+2 more|arXiv (Cornell University)|May 23, 2016

Gaussian Processes and Bayesian Inference参考文献 24被引用 4

一句话总结

该论文提出了一种新型贝叶斯非参数模型——Tucker高斯过程（TGP），通过将高斯过程回归与低秩Tucker张量分解相结合，利用协同过滤中的辅助信息对用户和项目相似性进行建模。通过使用Tucker分解近似GP权重张量，TGP实现了次线性缩放并提升了泛化性能，在协同过滤和可分回归任务中均优于标准GP和满秩模型，尤其在大规模数据上表现更优。

ABSTRACT

We tackle the problem of collaborative filtering (CF) with side information, through the lens of Gaussian Process (GP) regression. Driven by the idea of using the kernel to explicitly model user-item similarities, we formulate the GP in a way that allows the incorporation of low-rank matrix factorisation, arriving at our model, the Tucker Gaussian Process (TGP). Consequently, TGP generalises classical Bayesian matrix factorisation models, and goes beyond them to give a natural and elegant method for incorporating side information, giving enhanced predictive performance for CF problems. Moreover we show that it is a novel model for regression, especially well-suited to grid-structured data and problems where the dependence on covariates is close to being separable.

研究动机与目标

• 解决在保持高斯过程模型灵活性的同时，将辅助信息整合到协同过滤中的挑战。
• 弥合传统矩阵分解方法与协同过滤中高斯过程回归之间的差距。
• 开发一种可扩展的基于GP的模型，以推广贝叶斯矩阵分解，并有效利用用户和项目辅助信息。
• 探索将Tucker分解作为正则化器应用于可分、网格结构数据的GP回归。
• 通过次线性计算缩放实现对大规模协同过滤数据集的高效推理。

提出的方法

• 该模型采用高斯过程的权重空间视角，将GP抽样表示为随机权重张量与源自辅助信息的特征向量的乘积。
• 通过Tucker分解近似高维权重张量，减少参数数量并实现可扩展推理。
• 所得的Tucker高斯过程（TGP）将评分函数建模为若干可分分量的和，每个分量对应Tucker分解的一个模式。
• 采用随机梯度下降进行可扩展训练，使模型能够应用于包含数百万条评分的大规模协同过滤问题。
• 对于任意核函数，使用随机特征映射（如RFF）近似核函数，而对于网格结构数据则使用精确的Cholesky分解。
• 推理通过Stan中的HMC（含NUTS）实现，收敛性通过Gelman-Rubin统计量和有效样本量进行监控。

实验结果

研究问题

• RQ1 能否通过利用低秩结构，将高斯过程模型有效扩展到大规模协同过滤数据集？
• RQ2 如何自然地将用户和项目辅助信息整合到GP框架中以提升预测性能？
• RQ3 GP权重张量的Tucker分解是否能作为有效的正则化器，提升回归任务中的泛化能力？
• RQ4 TGP在可分、网格结构的回归问题上是否能优于标准GP和满秩GP模型？
• RQ5 TGP框架是否能够通过依赖于辅助信息的核函数，有效建模用户-项目相似性？

主要发现

• 在加州房价数据集上，当r=5时，TGP在所有特征维度n=25,50,100,200下，测试RMSE均显著低于满秩GP和标准GP。
• 当n≥100时，r=10的TGP在测试RMSE上优于标准GP，表明正则化通过Tucker分解实现了更好的泛化性能。
• TGP的训练RMSE高于GP，表明其因Tucker分解的正则化效应而更不易过拟合。
• TGP预测的加性分量揭示了不同的空间模式，各分量学习互补区域（如旧金山湾区与洛杉矶地区），证实了模型捕捉局部结构的能力。
• 收敛性诊断显示，300次迭代后TGP尚未完全混合，表明更长的预热阶段可能带来进一步的性能提升。
• TGP在网格结构的时空数据上表现出更优性能，证实其在具有可分协变量问题中的有效性。