[论文解读] Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization

Jun Lü, Xuanyu Ye|arXiv (Cornell University)|May 23, 2022

Face and Expression Recognition被引用 5

一句话总结

本文提出了一种新颖的贝叶斯非负矩阵分解模型 GRRN，该模型采用灵活的层次化先验结构，结合截断正态分布以在潜在因子上强制实现非负性。该方法在 MovieLens 100K 和 1M 等稀疏数据集上提升了预测精度并减少了过拟合，优于现有的贝叶斯与非概率 NMF 方法，尤其在高数据稀疏性和模型复杂度增加的情况下表现更优。

ABSTRACT

In this paper, we introduce a probabilistic model for learning nonnegative matrix factorization (NMF) that is commonly used for predicting missing values and finding hidden patterns in the data, in which the matrix factors are latent variables associated with each data dimension. The nonnegativity constraint for the latent factors is handled by choosing priors with support on the nonnegative subspace. Bayesian inference procedure based on Gibbs sampling is employed. We evaluate the model on several real-world datasets including MovieLens 100K and MovieLens 1M with different sizes and dimensions and show that the proposed Bayesian NMF GRRN model leads to better predictions and avoids overfitting compared to existing Bayesian NMF approaches.

研究动机与目标

• 解决贝叶斯 NMF 在协同过滤与因子分析中超参数选择的挑战。
• 开发一种概率 NMF 框架，通过先验分布自然地强制实现非负性，而非依赖硬性约束。
• 在数据高度不完整的情况下，提升稀疏矩阵分解的泛化能力并减少过拟合。
• 提供一种计算高效且可解释的贝叶斯 NMF 方法，在不同数据稀疏性和潜在维度下均表现出稳健性能。

提出的方法

• 该模型采用层次化先验结构，其中潜在因子从截断正态（高斯）分布中抽取，以确保非负性。
• 通过先验选择而非显式约束来强制实现非负性，从而支持使用 Gibbs 采样进行完整的贝叶斯推断。
• 似然函数仅定义在可观测条目上，通过掩码矩阵在损失函数中排除缺失数据。
• 该模型采用完全指定的图模型，其条件分布基于共轭先验，以实现高效的 Gibbs 采样。
• 层次化先验在截断正态分布的尺度参数上引入超先验，实现自动正则化并增强可解释性。
• 推断过程通过 Gibbs 采样计算潜在因子的后验分布，支持不确定性量化与合理的模型比较。

实验结果

研究问题

• RQ1 如何通过先验分布更自然且灵活地在矩阵分解中强制实现非负性？
• RQ2 层次化先验结构是否能提升贝叶斯 NMF 的泛化能力并减少过拟合，尤其是在高数据稀疏性条件下？
• RQ3 在真实世界稀疏数据集上，所提出的 GRRN 模型与现有贝叶斯及非概率 NMF 方法相比，其预测性能如何？
• RQ4 与标准共轭先验相比，使用截断正态先验是否能带来更好的收敛性与泛化性能？

主要发现

• GRRN 模型在保留的测试集上实现了最低的均方误差（MSE），尤其在高稀疏性下表现优异，即使在 MovieLens 100K 数据集中 98% 的数据缺失时，MSE 仍稳定在 1.05。
• 当 97% 的数据缺失时，GRRN 的 MSE 为 1.05，而 GTTN 和 GTT 模型的性能显著更差（分别为 5452.18 和 2650.21）。
• 随着潜在维度 K 从 20 增加到 50，GRRN 模型仍保持出色的泛化性能，表现出对模型复杂度的鲁棒性。
• 与非概率 NMF 不易过拟合不同，GRRN 在不同稀疏水平和数据集规模下均表现出一致的性能。
• 与 GEE 相比，GRRN 展现出更优的收敛性与样本内性能，尽管 GEE 的样本内拟合更好，但存在过拟合问题。
• 层次化先验结构提升了泛化能力，表现为在 97% 和 98% 数据缺失比例下性能稳定，表明过拟合程度更低。