[论文解读] Automatic Relevance Determination in Nonnegative Matrix Factorization with the \beta-Divergence

Vincent Y. F. Tan, Cédric Févotte|arXiv (Cornell University)|Nov 25, 2011

Face and Expression Recognition被引用 4

一句话总结

该论文提出了一种基于自动相关性确定（ARD）的贝叶斯非负矩阵分解（NMF）框架，结合β-散度，可自动估计模型阶数K。通过将字典矩阵和激活矩阵的尺度参数关联，该方法引入组稀疏性，利用MM算法单调最小化目标函数，从而在合成数据、音乐和股票数据上均优于基线方法，表现出优越性能。

ABSTRACT

This paper addresses the estimation of the latent dimensionality in nonnegative matrix factorization (NMF) with the \beta-divergence. The \beta-divergence is a family of cost functions that includes the squared Euclidean distance, Kullback-Leibler and Itakura-Saito divergences as special cases. Learning the model order is important as it is necessary to strike the right balance between data fidelity and overfitting. We propose a Bayesian model based on automatic relevance determination in which the columns of the dictionary matrix and the rows of the activation matrix are tied together through a common scale parameter in their prior. A family of majorization-minimization algorithms is proposed for maximum a posteriori (MAP) estimation. A subset of scale parameters is driven to a small lower bound in the course of inference, with the effect of pruning the corresponding spurious components. We demonstrate the efficacy and robustness of our algorithms by performing extensive experiments on synthetic data, the swimmer dataset, a music decomposition example and a stock price prediction task.

研究动机与目标

• 为解决非负矩阵分解（NMF）中选择正确模型阶数K的关键挑战，平衡数据保真度与过拟合问题。
• 开发一种贝叶斯框架，利用β-散度族代价函数实现NMF的自动相关性确定（ARD）。
• 设计计算高效、单调收敛的分量-最小化（MM）算法，实现W、H和K的同时估计。
• 通过β参数引入灵活的噪声模型，提升在音频、图像和金融时间序列等真实数据上的鲁棒性与性能。
• 提供一种原理清晰、统一的模型阶数选择方法，优于现有启发式或基于采样的方法。

提出的方法

• 构建一种贝叶斯NMF模型，其中W的列与H的行通过先验中的共同尺度参数关联，实现ARD。
• 采用β-散度作为灵活的代价函数，涵盖欧几里得距离、Kullback-Leibler散度和Itakura-Saito散度。
• 推导出一族保证每轮迭代中目标函数单调下降的分量-最小化（MM）算法。
• 通过辅助函数构造目标函数的局部上界，导出具有F、K和N线性复杂度的乘法更新规则。
• 通过尺度参数施加组稀疏性正则化，在推理过程中使无关分量趋近于零。
• 提出一种矩方法用于自适应选择超参数，尤其针对离散参数φ。

实验结果

研究问题

• RQ1 能否在使用β-散度的NMF中有效应用自动相关性确定（ARD），以实现自动模型阶数选择？
• RQ2 所提出的ARD-NMF框架在多种数据类型上与标准NMF及其他模型阶数选择技术相比表现如何？
• RQ3 β-散度的灵活性在不同噪声模型下对因子分解质量与鲁棒性的提升程度如何？
• RQ4 基于MM的优化框架是否能在保持计算效率的同时保证单调收敛？
• RQ5 该方法在缺失数据场景下的表现如何，如在股票价格预测任务中所示？

主要发现

• ℓ2-ARD方法在股票价格预测任务中达到约0.2的NKLD，显著优于标准KL-NMF（所有K值下NKLD均高于0.23）。
• 在相同任务中，ℓ1-ARD在K_eff = 5时达到约0.23的NKLD，优于KL-NMF（NKLD ≈ 0.25），且保留的分量更少。
• 矩方法实现了有效的、与数据相关的超参数选择，建议a相对于F + N取较小值。
• 在swimmer数据集和音乐分解任务中，所提算法成功恢复了正确的模型阶数，并生成了优于基线方法的高质量分解。
• ℓ2-ARD方法在β和φ的广泛取值范围内表现鲁棒，β = 0.5且φ = 10在预测任务中表现最佳。
• 该方法优于Mørup & Hansen方法的缺失数据适配版本，后者平均NKLD为0.37 ± 0.03，表明数据拟合效果差。