[论文解读] Algorithms for nonnegative matrix factorization with the beta-divergence

Cédric Févotte, Jérôme Idier|arXiv (Cornell University)|Oct 8, 2010

Blind Source Separation Techniques参考文献 44被引用 29

一句话总结

本文提出了一种基于 $β$-散度代价函数的非负矩阵分解（NMF）统一框架，引入了一种具有可证明单调性的主要化-最小化（MM）算法，适用于 $β \in (0,1)$，以及一种新型的主要化-等值化（ME）算法，通过沿辅助函数的等值集移动来加速收敛。ME 方法在保持相同计算复杂度的前提下，实现了比标准乘法更新更快的收敛速度。

ABSTRACT

This paper describes algorithms for nonnegative matrix factorization (NMF) with the beta-divergence (beta-NMF). The beta-divergence is a family of cost functions parametrized by a single shape parameter beta that takes the Euclidean distance, the Kullback-Leibler divergence and the Itakura-Saito divergence as special cases (beta = 2,1,0, respectively). The proposed algorithms are based on a surrogate auxiliary function (a local majorization of the criterion function). We first describe a majorization-minimization (MM) algorithm that leads to multiplicative updates, which differ from standard heuristic multiplicative updates by a beta-dependent power exponent. The monotonicity of the heuristic algorithm can however be proven for beta in (0,1) using the proposed auxiliary function. Then we introduce the concept of majorization-equalization (ME) algorithm which produces updates that move along constant level sets of the auxiliary function and lead to larger steps than MM. Simulations on synthetic and real data illustrate the faster convergence of the ME approach. The paper also describes how the proposed algorithms can be adapted to two common variants of NMF : penalized NMF (i.e., when a penalty function of the factors is added to the criterion function) and convex-NMF (when the dictionary is assumed to belong to a known subspace).

研究动机与目标

• 统一并推广在 $β$-散度框架下现有的 NMF 乘法算法。
• 通过使用辅助函数，为 $β \in (0,1)$ 范围内的启发式乘法算法建立严格的收敛性保证。
• 提出一种新的主要化-等值化（ME）算法，通过利用辅助函数的结构实现更大的更新步长，从而获得比标准 MM 或启发式方法更快的收敛速度。
• 通过将惩罚项和子空间约束融入辅助函数方法，将该框架扩展至正则化 NMF 和凸 NMF。

提出的方法

• 推导出一个能主要化 $β$-散度准则且在当前迭代点处紧致的辅助函数。
• 基于该辅助函数开发主要化-最小化（MM）算法，得到具有 $β$-相关指数的乘法更新。
• 提出主要化-等值化（ME）算法，通过沿辅助函数的等值集移动，实现更大且更高效的更新步长。
• 通过证明辅助函数满足 $G({\mathbf{h}}^{\text{H}}|\tilde{{\mathbf{h}}}) \leq G(\tilde{{\mathbf{h}}}|\tilde{{\mathbf{h}}})$，证明了启发式算法在 $β \in (0,1)$ 范围内的单调性。
• 将该框架适配以处理带正则化的 $β$-NMF（例如，带 $β$-范数惩罚的 $β$-散度）和凸 NMF（带字典约束）。
• 证明对于 $β \in \{0, 0.5, 1.5, 2\}$，ME 算法可简化为求解低阶多项式方程，从而实现高效计算。

实验结果

研究问题

• RQ1 能否为 $β \in (0,1)$ 范围内尚未被现有证明覆盖的启发式乘法算法，证明其单调性？
• RQ2 能否设计一种新算法，通过利用辅助函数的结构，实现比标准 MM 或启发式更新更快的收敛速度？
• RQ3 如何将辅助函数框架扩展以处理带子空间约束的正则化 NMF 和凸 NMF？
• RQ4 所提算法的收敛行为如何？能否在 $β \in [0,2]$ 之外的范围内建立单调性？
• RQ5 ME 算法能否推广至其他 $β$ 值？其收敛速度和稳定性是否得以保持？

主要发现

• 基于所提辅助函数的 MM 算法对所有 $β \in \mathbb{R}$ 均产生乘法更新，且在 $β \in (0,1)$ 范围内证明了单调性，扩展了先前结果。
• 启发式乘法算法现已被证明在 $β \in [0,2]$ 的完整范围内具有单调性，统一了此前针对 $β=0,1,2$ 的结果。
• ME 算法通过沿辅助函数的等值集移动，实现了比 MM 和启发式方法更快的收敛速度，仿真结果已验证该结论。
• 对于 $β \in \{0, 0.5, 1.5, 2\}$，ME 更新可简化为求解一阶或二阶多项式方程，从而实现高效计算。
• 该框架成功推广至正则化 NMF，对带 $β$-范数惩罚的 $β$-散度问题，可导出简洁的乘法更新。
• 所提算法在字典被约束于已知子空间时，对凸 NMF 仍保持单调性和收敛性，从而推广并证明了现有方法。