[论文解读] Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference

Dawen Liang, Matthew D. Hoffman|arXiv (Cornell University)|Nov 7, 2014

Blind Source Separation Techniques参考文献 9被引用 8

一句话总结

本文提出了一种用于贝塔过程非负矩阵分解（NMF）且具有泊松似然的随机结构化平均场变分推断（SSMF）算法，实现了非共轭、非参数贝叶斯推断在非负模型中的应用。该方法恢复了潜在变量（掩码、分量、激活）之间的依赖关系，优于以往的平均场方法，在盲源分离任务中性能接近吉布斯采样。

ABSTRACT

Beta process is the standard nonparametric Bayesian prior for latent factor model. In this paper, we derive a structured mean-field variational inference algorithm for a beta process non-negative matrix factorization (NMF) model with Poisson likelihood. Unlike the linear Gaussian model, which is well-studied in the nonparametric Bayesian literature, NMF model with beta process prior does not enjoy the conjugacy. We leverage the recently developed stochastic structured mean-field variational inference to relax the conjugacy constraint and restore the dependencies among the latent variables in the approximating variational distribution. Preliminary results on both synthetic and real examples demonstrate that the proposed inference algorithm can reasonably recover the hidden structure of the data.

研究动机与目标

• 解决缺乏高效、结构化推断方法的问题，针对具有泊松似然的非共轭贝塔过程NMF。
• 克服标准平均场变分推断的局限性，后者破坏了潜在变量之间的依赖关系并引入局部最优解。
• 实现非参数化、非负矩阵分解，其中分量数量通过贝塔过程先验从数据中推断得出。
• 展示在真实音频数据的盲源分离任务中，变分推断中结构化依赖关系的优势。
• 为非共轭NMF模型提供一种可扩展的吉布斯采样替代方案，具备更优的收敛性和更低的计算成本。

提出的方法

• 构建截断的贝塔过程NMF模型，采用泊松似然，并引入二值掩码S以强制实现稀疏性。
• 引入辅助变量Z，以在给定掩码S的条件下恢复条件共轭性，从而实现可处理的变分推断。
• 通过将局部变量（Z_t, s_t）与全局变量（W, H, π）分组，应用随机结构化平均场（SSMF）变分推断，允许局部与全局变量之间的依赖关系。
• 采用因子化变分分布：对W和H使用伽马分布，对π使用贝塔分布，对给定W、H、π的Z_t和s_t使用联合分布。
• 使用小批量时间点T的随机优化方法最大化证据下界（ELBO）。
• 利用泊松变量的可加性，推导出在结构化近似下变分参数的闭式更新公式。

实验结果

研究问题

• RQ1 结构化平均场变分推断能否有效恢复具有泊松似然的非共轭贝塔过程NMF模型中的隐藏结构？
• RQ2 与标准平均场方法相比，恢复二值掩码S、潜在分量W和激活H之间依赖关系是否能提升推断质量？
• RQ3 与吉布斯采样和以往变分方法相比，所提出的SSMF算法在真实世界盲源分离任务中的表现如何？
• RQ4 先验超参数对H和S中稀疏模式的影响是什么？如何调整它们以避免H与S之间的冗余？
• RQ5 SSMF能否在显著更快的速度下实现接近渐近精确吉布斯采样的性能？

主要发现

• SSMF算法在合成NMF数据中成功恢复了真实潜在结构，表现出对非共轭性的鲁棒性。
• 在MIREX F0估计数据集上，SSMF实现了平均SDR为1.84（±0.92）、SIR为6.95（±1.80）和SAR为4.82（±0.32），在盲源分离任务中表现具有竞争力。
• 吉布斯采样性能更优（SDR: 3.58，SIR: 13.46），但运行时间约为SSMF的两倍，表明准确度与效率之间存在权衡。
• SSMF的活跃分量数（K）为37，而吉布斯采样为60，表明SSMF可能更不易过拟合或发现虚假分量。
• 尽管模型假设存在差异，SSMF仍优于Liang等人（2013）采用拉普拉斯近似的先前工作，表明推断质量有所提升。
• 将H先验的c = d = 5设置为合适值，可防止H与S之间的冗余，确保稀疏性主要由二值掩码S捕获，符合设计初衷。