[论文解读] Bayesian matrix completion: prior specification

Pierre Alquier, Vincent Cottet+2 more|arXiv (Cornell University)|Jun 5, 2014

Sparse and Compressive Sensing Techniques参考文献 9被引用 11

一句话总结

本文提出并评估了用于贝叶斯矩阵补全的新型共轭先验——伽马分布和离散分布，展示了其计算效率和优异性能。研究表明，这些先验下的最大后验估计（MAP）对应于核范数惩罚估计器，实证结果证实其在模拟数据和真实世界数据集（如MovieLens和Netflix）上的性能优于或不亚于广泛使用的逆伽马先验。

ABSTRACT

Low-rank matrix estimation from incomplete measurements recently received increased attention due to the emergence of several challenging applications, such as recommender systems; see in particular the famous Netflix challenge. While the behaviour of algorithms based on nuclear norm minimization is now well understood, an as yet unexplored avenue of research is the behaviour of Bayesian algorithms in this context. In this paper, we briefly review the priors used in the Bayesian literature for matrix completion. A standard approach is to assign an inverse gamma prior to the singular values of a certain singular value decomposition of the matrix of interest; this prior is conjugate. However, we show that two other types of priors (again for the singular values) may be conjugate for this model: a gamma prior, and a discrete prior. Conjugacy is very convenient, as it makes it possible to implement either Gibbs sampling or Variational Bayes. Interestingly enough, the maximum a posteriori for these different priors is related to the nuclear norm minimization problems. We also compare all these priors on simulated datasets, and on the classical MovieLens and Netflix datasets.

研究动机与目标

• 研究并扩展贝叶斯矩阵补全中的共轭先验，以提升计算可行性与估计精度。
• 比较标准逆伽马先验与新提出的伽马和离散先验在低秩矩阵恢复中的性能表现。
• 建立这些先验下MAP估计与核范数惩罚方法之间的理论与实证联系。
• 评估这些先验在真实推荐系统中对未知矩阵秩的鲁棒性与自适应能力。
• 为大规模场景（如Netflix和MovieLens）中的贝叶斯矩阵补全提供先验选择的实际指导。

提出的方法

• 在矩阵分解的奇异值上提出伽马先验和离散先验，二者在矩阵补全模型下与似然函数共轭。
• 推导出这些先验下的联合后验分布，从而支持高效的吉布斯采样或变分贝叶斯（VB）推断。
• 证明伽马和离散先验下的MAP估计等价于核范数惩罚的最小二乘估计器。
• 采用MCMC和变分贝叶斯算法进行后验近似，并在大规模数据集上监控收敛性。
• 使用低秩矩阵分解模型，其中矩阵表示为 $\theta^0 = M^0 (N^0)^T$，且秩 $r \leq K$。
• 通过层次结构将先验应用于奇异值，确保共轭性并支持可扩展计算。

实验结果

研究问题

• RQ1 能否在标准逆伽马先验之外，为贝叶斯矩阵补全开发其他共轭先验，以确保计算可行性？
• RQ2 伽马和离散先验的MAP估计在估计精度和收敛性方面与逆伽马先验相比如何？
• RQ3 在模拟和真实世界场景中，这些新先验在多大程度上能自适应真实底层矩阵的秩？
• RQ4 在大规模数据集（如MovieLens和Netflix）上，这些先验的实证性能与现有方法相比如何？
• RQ5 在噪声或不完整数据设置下，先验的选择是否显著影响贝叶斯矩阵补全估计器的一致性与鲁棒性？

主要发现

• 伽马和离散先验产生的MAP估计等价于核范数惩罚估计器，建立了贝叶斯方法与频率学派方法之间的联系。
• 在真实秩为 $r=2$ 的模拟数据集中，伽马和离散先延优于逆伽马先验，均方误差更小。
• 逆伽马先验表现出较慢的MCMC收敛速度和更重的尾部，尽管其应用广泛，但性能仍被削弱。
• 在MovieLens 100K数据集上，离散先验和逆伽马先验在吉布斯采样下均达到RMSE为0.92，变分贝叶斯方法也取得了相近结果。
• 对于更大规模的数据集（100万和1000万条评分），使用逆伽马先验的变分贝叶斯算法分别实现了0.84和0.79的RMSE，且在20次迭代内完成收敛。
• 离散先验和伽马先验表现出对真实秩的强自适应能力，即使在 $K$ 设置较大时仍能保持良好性能，而逆伽马先验则因混合速度慢而表现下降。