[论文解读] Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation

Thomas Brouwer, Jes Frellsen+1 more|arXiv (Cornell University)|Oct 26, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用 4

一句话总结

本文提出了一种用于非负矩阵分解（NMF）和三因子分解（NMTF）的快速变分贝叶斯算法，采用确定性优化方法更高效地近似后验分布，优于吉布斯抽样或非概率方法。该方法显著加快了收敛速度——在NMTF中，运行时间最快可提升四倍，同时避免了额外采样需求，并降低了过拟合风险。

ABSTRACT

We present a fast variational Bayesian algorithm for performing non-negative matrix factorisation and tri-factorisation. We show that our approach achieves faster convergence per iteration and timestep (wall-clock) than Gibbs sampling and non-probabilistic approaches, and do not require additional samples to estimate the posterior. We show that in particular for matrix tri-factorisation convergence is difficult, but our variational Bayesian approach offers a fast solution, allowing the tri-factorisation approach to be used more effectively.

研究动机与目标

• 开发一种比基于MCMC的贝叶斯推断更快、更确定性的非负矩阵分解替代方法。
• 解决现有采样方法在矩阵三因子分解中收敛速度慢的挑战。
• 提供一个完全的贝叶斯框架，相比李与孙算法等点估计方法，能够捕捉不确定性并减少过拟合。
• 通过提升计算效率，实现NMTF在大规模数据集上的可扩展应用。
• 评估该方法在低数据量和噪声环境下的鲁棒性，特别是对缺失值预测的表现。

提出的方法

• 使用变分贝叶斯推断，通过一个可处理的变分分布来近似非负因子矩阵的真正后验分布。
• 在因子矩阵U和V上使用指数先验以强制非负性，并在噪声精度τ上使用伽马先验。
• 通过最小化变分后验与真实后验之间的Kullback-Leibler散度，推导出变分参数的闭式更新方程。
• 将相同的变分框架应用于NMF和NMTF，扩展至具有非负约束的三因子分解。
• 通过在变分参数上进行迭代坐标上升，优化变分下界（证据下界，ELBO）。
• 通过提供直接、确定性的后验近似，避免了MCMC的预 burn-in 和稀释过程。

实验结果

研究问题

• RQ1 变分贝叶斯方法能否在非负矩阵分解中实现比吉布斯抽样更快的收敛速度？
• RQ2 在已知收敛困难的矩阵三因子分解中，该方法在实际运行时间和收敛速度方面的表现如何？
• RQ3 与非概率方法及MAP方法相比，变分贝叶斯方法在缺失数据和噪声环境下的鲁棒性是否更优？
• RQ4 该方法在保持准确性和不确定性量化的同时，能否有效扩展至更大规模的数据集？
• RQ5 在真实世界数据上，该变分方法在预测准确性方面与吉布斯抽样及非概率NMF/NMTF相比表现如何？

主要发现

• 在三因子分解中，变分贝叶斯NMF和NMTF方法的迭代收敛速度比竞争方法快七倍。
• 与吉布斯抽样相比，该方法在矩阵三因子分解中实现了四倍的运行时间加速。
• 在实际运行时间上，该变分方法的收敛速度是非概率NMF方法的两倍。
• 贝叶斯模型（包括所提出的变分方法）在噪声和稀疏性方面表现出更优的鲁棒性，在高噪声和高缺失率下的缺失值预测中优于非概率方法。
• 该方法无需额外采样即可提供确定性的后验近似，相比MCMC显著降低了计算开销。
• 即使在仅观察到81%条目的GDSC药物敏感性数据集上，该方法仍保持了较高的预测准确性，并在噪声和缺失数据不断增加的情况下表现良好。