[论文解读] Computing a Nonnegative Matrix Factorization -- Provably

Sanjeev Arora, Rong Ge+2 more|arXiv (Cornell University)|Nov 3, 2011

graph theory and CDMA systems被引用 8

一句话总结

本文提出了在可分性条件下首个多项式时间的非负矩阵分解（NMF）算法，这是实际应用中的关键假设。证明了当内维数 r 固定时，精确和近似 NMF 均可在多项式时间内求解，并建立了紧致的难解性结果，表明对这一界的重大改进将意味着存在 3-SAT 的次指数时间算法。

ABSTRACT

In the Nonnegative Matrix Factorization (NMF) problem we are given an $n imes m$ nonnegative matrix $M$ and an integer $r > 0$. Our goal is to express $M$ as $A W$ where $A$ and $W$ are nonnegative matrices of size $n imes r$ and $r imes m$ respectively. In some applications, it makes sense to ask instead for the product $AW$ to approximate $M$ -- i.e. (approximately) minimize $ orm{M - AW}_F$ where $ orm{}_F$ denotes the Frobenius norm; we refer to this as Approximate NMF. This problem has a rich history spanning quantum mechanics, probability theory, data analysis, polyhedral combinatorics, communication complexity, demography, chemometrics, etc. In the past decade NMF has become enormously popular in machine learning, where $A$ and $W$ are computed using a variety of local search heuristics. Vavasis proved that this problem is NP-complete. We initiate a study of when this problem is solvable in polynomial time: 1. We give a polynomial-time algorithm for exact and approximate NMF for every constant $r$. Indeed NMF is most interesting in applications precisely when $r$ is small. 2. We complement this with a hardness result, that if exact NMF can be solved in time $(nm)^{o(r)}$, 3-SAT has a sub-exponential time algorithm. This rules out substantial improvements to the above algorithm. 3. We give an algorithm that runs in time polynomial in $n$, $m$ and $r$ under the separablity condition identified by Donoho and Stodden in 2003. The algorithm may be practical since it is simple and noise tolerant (under benign assumptions). Separability is believed to hold in many practical settings. To the best of our knowledge, this last result is the first example of a polynomial-time algorithm that provably works under a non-trivial condition on the input and we believe that this will be an interesting and important direction for future work.

研究动机与目标

• 为长期悬而未决的开放问题提供解答：当内维数 r 较小时，NMF 是否可以高效计算？
• 识别使 NMF 可解的条件，特别关注在许多现实世界数据场景中成立的可分性条件。
• 通过基于 3-SAT 复杂性的复杂性结果，建立 NMF 算法效率的理论极限。
• 在合理假设下，提供一种实用且抗噪的近似 NMF 多项式时间算法，并在可分性条件下证明其正确性。

提出的方法

• 当内维数 r 为常数时，提出一种基于凸优化和在 ε-网上的向量枚举的多项式时间算法，用于精确和近似 NMF。
• 采用凸规划方法，在线性约束下最小化二次目标函数，目标是近似真实分解并保证非负性。
• 采用两阶段方法：首先通过凸松弛估计基矩阵 W，然后通过求解最小二乘问题恢复 A，以最小化 Frobenius 范数误差。
• 通过利用可分性条件，引入抗噪变体，其中因子矩阵之一包含原始矩阵的精确列。
• 在 r 维空间的单位向量上应用基于网的搜索，以近似真实分解方向，误差界限由精度参数控制。
• 通过界定使用近似向量时目标函数的扰动，推导出理论保证，确保解保持在小误差范围内。

实验结果

研究问题

• RQ1 当内维数 r 较小时，非负矩阵分解是否可在多项式时间内求解？
• RQ2 输入矩阵 M 的何种结构条件可使 NMF 可解，且此类条件能否被算法有效利用？
• RQ3 NMF 算法的运行时间与 NP-难问题（如 3-SAT）的复杂性之间是否存在可证明的权衡？
• RQ4 能否设计一种在合理假设下既实用又对噪声鲁棒的近似 NMF 多项式时间算法？
• RQ5 NMF 算法的效率理论极限是什么？能否通过复杂性理论归约来刻画这一极限？

主要发现

• 本文提出了一种当内维数 r 为常数时，精确和近似 NMF 的多项式时间算法，解决了计算学习理论中的一个长期开放问题。
• 证明了若精确 NMF 可在 (nm)^o(r) 时间内求解，则 3-SAT 存在次指数时间算法，基于标准复杂性假设，建立了运行时间的紧致下界。
• 在可分性条件下，作者设计了一种多项式时间算法，具有抗噪能力且实用可行，这是首个在非平凡输入条件下可证明正确的 NMF 算法。
• 当 δ = √ε / r^{1/4} 时，算法实现的近似误差为 O(ε^{1/2} r^{1/4}) ||M||_F，提供了因子分解误差的明确量化边界。
• 所用的凸松弛方法在基向量的小扰动下表现出稳定性，确保了对输入中噪声的鲁棒性。
• 本研究确立了可分性条件不仅充分，而且是未来算法开发的有前景方向，因为它在实践中可实现高效且可证明的解。