[论文解读] Approximate Nonnegative Matrix Factorization via Alternating Minimization

Lorenzo Finesso, Peter Spreij|ArXiv.org|Feb 13, 2004

Matrix Theory and Algorithms参考文献 11被引用 29

一句话总结

本文将近似非负矩阵分解（NMF）表述为通过交替最小化求解的I散度最小化问题，将广泛使用的乘法更新算法解释为Csiszár-Tusnády交替投影框架的一个实例。主要贡献在于通过毕达哥拉斯恒等式证明了该算法的收敛性和稳定性，并表明I散度在每次迭代中单调递减，从而确保收敛至驻点。

ABSTRACT

In this paper we consider the Nonnegative Matrix Factorization (NMF) problem: given an (elementwise) nonnegative matrix $V \in \R_+^{m imes n}$ find, for assigned $k$, nonnegative matrices $W\in\R_+^{m imes k}$ and $H\in\R_+^{k imes n}$ such that $V=WH$. Exact, non trivial, nonnegative factorizations do not always exist, hence it is interesting to pose the approximate NMF problem. The criterion which is commonly employed is I-divergence between nonnegative matrices. The problem becomes that of finding, for assigned $k$, the factorization $WH$ closest to $V$ in I-divergence. An iterative algorithm, EM like, for the construction of the best pair $(W, H)$ has been proposed in the literature. In this paper we interpret the algorithm as an alternating minimization procedure à la Csiszár-Tusnády and investigate some of its stability properties. NMF is widespreading as a data analysis method in applications for which the positivity constraint is relevant. There are other data analysis methods which impose some form of nonnegativity: we discuss here the connections between NMF and Archetypal Analysis. An interesting system theoretic application of NMF is to the problem of approximate realization of Hidden Markov Models.

研究动机与目标

• 通过将乘法更新算法解释为交替最小化过程，为近似非负矩阵分解（NMF）中使用的乘法更新算法提供理论基础。
• 利用I散度准则和Csiszár-Tusnády毕达哥拉斯框架，建立NMF算法的收敛性与稳定性特性。
• 阐明NMF与其他非负数据分析方法（如典型分析）之间的联系，特别是在L2与I散度准则下的关系。
• 证明在迭代过程中，原始矩阵$ V $与近似分解$ WH $之间的I散度单调递减，从而确保收敛。

提出的方法

• 将问题表述为最小化非负矩阵$ V $与其分解$ WH $之间的I散度$ D(V||WH) $，其中$ W \in \mathbb{R}_{+}^{m\times k} $，$ H \in \mathbb{R}_{+}^{k\times n} $。
• 通过在$ W $和$ H $上交替最小化$ D(V||WH) $，应用Csiszár-Tusnády框架推导更新规则。
• 推导出$ W $和$ H $的更新规则为$ W^{n+1}_{il} = \sum_j \frac{W^n_{il} H^n_{lj} V_{ij}}{(W^n H^n)_{ij}} $和$ H^{n+1}_{lj} = \sum_i \frac{W^n_{il} H^n_{lj} V_{ij}}{(W^n H^n)_{ij}} $，与标准乘法更新规则一致。
• 通过毕达哥拉斯恒等式建立收敛性：$ D(V||W^n H^n) \geq D(V||W^{n+1} H^{n+1}) $，表明I散度单调递减。
• 证明算法收敛至目标函数$ F(W,H) = \sum_{ij} (V_{ij} \log(WH)_{ij} - (WH)_{ij}) $的驻点，即偏导数为零的点。
• 对$ H $施加行随机约束以避免非唯一性，通过使用对角缩放矩阵进行归一化，不失一般性。

实验结果

研究问题

• RQ1 如何利用交替最小化和信息论散度，正式证明NMF中乘法更新算法的合理性？
• RQ2 在NMF背景下，I散度最小化算法的收敛性与稳定性特性是什么？
• RQ3 在不同准则下，NMF算法与典型分析等其他非负数据分析技术有何关联？
• RQ4 能否利用Csiszár-Tusnády框架中的毕达哥拉斯恒等式，严格证明迭代过程中I散度的单调递减性？
• RQ5 在何种条件下算法收敛至驻点？此类驻点具有何种特征？

主要发现

• 在交替最小化算法的每次迭代中，I散度$ D(V||WH) $严格递减，从而确保收敛至驻点。
• 从I散度最小化推导出的乘法更新规则，与Csiszár-Tusnády框架中的交替最小化步骤等价。
• 算法收敛至目标函数$ F(W,H) $的驻点，此时$ F $对$ W $和$ H $的偏导数为零。
• 序列$ \{W^n, H^n\} $保持有界，并在紧集内演化，确保迭代过程的稳定性。
• 毕达哥拉斯恒等式$ D(V||W^n H^n) = D(V||W^{n+1} H^{n+1}) + D(W^n H^n || W^{n+1} H^{n+1}) + D(H^{n+1} || H^n) $成立，为收敛性提供了理论基础。
• 对$ H $施加行随机约束可确保唯一性（至缩放变换），且在该归一化下算法依然有效。