[论文解读] Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization

Yang Song, Jun Zhu|arXiv (Cornell University)|Dec 3, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用 6

一句话总结

该论文提出了一种基于自适应松弛谱正则化的新型贝叶斯矩阵补全方法，通过重新表述核范数并引入奇异值上的稀疏诱导先验，避免了低秩矩阵恢复中正交性约束的挑战。该方法实现了无需参数调优的完全贝叶斯推断，在极稀疏矩阵上表现出优越的秩恢复与协同过滤性能，优于当前最先进方法。

ABSTRACT

Bayesian matrix completion has been studied based on a low-rank matrix factorization formulation with promising results. However, little work has been done on Bayesian matrix completion based on the more direct spectral regularization formulation. We fill this gap by presenting a novel Bayesian matrix completion method based on spectral regularization. In order to circumvent the difficulties of dealing with the orthonormality constraints of singular vectors, we derive a new equivalent form with relaxed constraints, which then leads us to design an adaptive version of spectral regularization feasible for Bayesian inference. Our Bayesian method requires no parameter tuning and can infer the number of latent factors automatically. Experiments on synthetic and real datasets demonstrate encouraging results on rank recovery and collaborative filtering, with notably good results for very sparse matrices.

研究动机与目标

• 解决缺乏基于直接谱正则化的贝叶斯矩阵补全方法的问题，避免Stiefel流形优化的复杂性。
• 通过推导等价的松弛形式，克服谱正则化中非共轭先验的不可行性，实现高效的贝叶斯推断。
• 开发一种可自动推断潜在因子数量并按每个奇异值自适应调整正则化的算法，消除手动超参数调优的需要。
• 通过在奇异值上引入稀疏诱导先验，提升低秩矩阵补全性能，尤其在极稀疏场景下表现更优。
• 在合成数据和真实世界协同过滤任务中，证明谱正则化在贝叶斯矩阵补全中优于传统矩阵分解方法。

提出的方法

• 通过在奇异向量上使用松弛的正交约束，推导出核范数的新等价形式，实现可处理的贝叶斯推断。
• 在奇异值上应用具有半柯西先验的层次贝叶斯模型，以诱导稀疏性并实现按潜在维度自适应的正则化。
• 采用结合蒙特卡洛EM的吉布斯采样进行超参数估计，避免对正则化参数的手动调优。
• 用松弛参数化替代原始的Stiefel流形优化，简化采样过程，同时保持与原始谱正则化的等价性。
• 利用核范数的变分形式，将松弛谱形式与标准矩阵分解联系起来，实现高效的后验计算。
• 采用共轭先验和基于松弛SVD形式推导的条件分布，实现精确的吉布斯采样。

实验结果

研究问题

• RQ1 能否成功构建基于直接谱正则化的贝叶斯矩阵补全框架，而无需依赖矩阵分解？
• RQ2 如何松弛谱正则化中的正交性约束，以实现高效的贝叶斯推断？
• RQ3 在奇异值上使用稀疏诱导先验是否能带来更好的秩恢复效果和在极稀疏矩阵上的性能表现？
• RQ4 所提方法是否能自动推断潜在因子数量，而无需手动截断秩？
• RQ5 所提方法在协同过滤任务中与当前最先进贝叶斯及非贝叶斯矩阵补全算法相比表现如何？

主要发现

• 所提方法GASR在协同过滤任务中达到最先进性能，在缺失率达97.8%的更稀疏EachMovie数据集上优于BPMF，在MovieLens数据集（缺失率95.8%）上表现相当。
• 在MovieLens数据集上，GASR在将预测结果四舍五入为整数后，NMAE为0.1569 ± 0.0006，RMSE为0.8877，显著优于iPM3F和SoftImpute。
• 在EachMovie数据集上，GASR在四舍五入后NMAE为0.1877 ± 0.0003，RMSE为0.9211，展现出在极端稀疏性下的鲁棒性。
• 在MovieLens和EachMovie数据集上，GASR的平均推断秩为10，而iPM3F的推断秩显著更高（截断时为30，无截断时高达450），表明GASR在秩估计方面更具优势。
• GASR优于非贝叶斯方法如HASI、SoftImpute和SoftImpute-ALS，显示出自适应先验下贝叶斯推断的优势。
• 该方法在极稀疏场景下性能尤为突出，相比基线方法在秩恢复和预测精度方面均有显著提升。