[论文解读] Bayesian matrix completion: prior specification and consistency

Pierre Alquier, Vincent Cottet+2 more|arXiv (Cornell University)|Jun 5, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用 5

一句话总结

本文通过提出并分析三种共轭先验——逆伽马分布、伽马分布和离散分布——研究了低秩矩阵估计中奇异值的贝叶斯矩阵补全。该文建立了离散先验的后验一致性，并证明了在这些先验下，后验众数估计（MAP）等价于核范数最小化，为一种广泛使用的经典方法提供了贝叶斯解释。

ABSTRACT

Low-rank matrix estimation from incomplete measurements recently received increased attention due to the emergence of several challenging applications, such as recommender systems; see in particular the famous Netflix challenge. While the behaviour of algorithms based on nuclear norm minimization is now well understood [SRJ05, SS05, CP09, CT09, CR09, Gro11, RT11, Klo11, KLT11], an as yet unexplored avenue of research is the behaviour of Bayesian algorithms in this context. In this paper, we briefly review the priors used in the Bayesian literature for matrix completion. A standard approach is to assign an inverse gamma prior to the singular values of a certain singular value decomposition of the matrix of interest; this prior is conjugate. However, we show that two other types of priors (again for the singular values) may be conjugate for this model: a gamma prior, and a discrete prior. Conjugacy is very convenient, as it makes it possible to implement either Gibbs sampling or Variational Bayes. Interestingly enough, the maximum a posteriori for these dierent priors is related to the nuclear norm minimization problems. Our main contribution is to prove the consistency of the posterior expectation when the discrete prior is used. We also compare all these priors on simulated datasets, and on the classical MovieLens and Netflix datasets.

研究动机与目标

• 探索贝叶斯算法在低秩矩阵补全中的理论与实际行为，特别关注奇异值的先验设定。
• 识别适用于奇异值的共轭先验，以通过吉布斯采样或变分推断实现高效的后验计算。
• 建立在奇异值上使用离散先验时，后验期望的理论一致性。
• 在模拟数据和真实世界数据集（如MovieLens和Netflix）上，比较不同先验（逆伽马、伽马、离散）的性能。

提出的方法

• 通过奇异值分解（SVD）为矩阵的奇异值分配逆伽马、伽马或离散先验。
• 证明了这三种先验对矩阵补全模型均为共轭先验，从而支持高效的后验计算。
• 由于共轭性，采用吉布斯采样或变分贝叶斯进行后验推断，实现可扩展的计算。
• 推导每种先下的最大后验估计（MAP）并证明其在极限情况下等价于核范数最小化。
• 证明了在奇异值上使用离散先验时，后验期望的后验一致性，确立了渐近正确性。
• 使用模拟数据和真实数据集（MovieLens、Netflix）对不同先验的性能进行经验比较。

实验结果

研究问题

• RQ1 在贝叶斯矩阵补全中，哪些奇异值先验能产生共轭后验？
• RQ2 这些先验下的最大后验估计与核范数最小化有何关系？
• RQ3 当在奇异值上使用离散先验时，后验期望是否具有一致性？
• RQ4 在真实世界推荐数据集上的预测性能方面，不同先验的表现如何比较？

主要发现

• 奇异值上的逆伽马、伽马和离散先验均与矩阵补全似然共轭，支持高效的后验计算。
• 在三种先验下，最大后验估计（MAP）均对应于核范数最小化的一种形式，将贝叶斯方法与经典方法联系起来。
• 当在奇异值上使用离散先验时，正式证明了后验期望的后验一致性。
• 在模拟数据和真实数据集（MovieLens、Netflix）上的经验比较表明，离散先验表现出强大的预测性能，与或优于其他先验。
• 离散先验的共轭结构支持通过吉布斯采样或变分贝叶斯实现稳定高效的推断。
• 结果表明，离散先验为贝叶斯矩阵补全提供了一种理论基础坚实且实际有效的标准先验替代方案。