[论文解读] Convex Algorithms for Nonnegative Matrix Factorization

V. Krishnamurthy, Alexandre d’Aspremont|arXiv (Cornell University)|Jul 2, 2012

Matrix Theory and Algorithms参考文献 18被引用 5

一句话总结

本文通过将非凸的非负矩阵分解（NMF）问题重新表述为完全正矩阵逼近的凸松弛形式，提出了一类凸优化算法用于非负矩阵分解（NMF）。该方法在收敛性保证下实现全局最优解，并在对称NMF问题（如图划分）中表现出色，但在非对称情况下效率仍有限。

ABSTRACT

We derive approximation algorithms for the nonnegative matrix factorization problem, i.e. the problem of factorizing a matrix as the product of two matrices with nonnegative coefficients. We form convex approximations of this problem which can be solved efficiently and test our algorithms on some classic numerical examples.

研究动机与目标

• 通过构建凸逼近形式，解决传统非凸NMF算法中存在的不稳定性和缺乏收敛性保证的问题。
• 通过凸松弛实现NMF的全局优化，尤其适用于对称矩阵。
• 提供计算上可行的算法，具备复杂度界和对偶间隙计算能力，用于性能监控。
• 将凸框架从对称NMF扩展至非对称NMF，尽管效率有所降低。
• 在真实世界问题（如通过邻接矩阵分解实现图划分）中验证该方法的有效性。

提出的方法

• 将对称NMF表述为通过完全正矩阵逼近矩阵的问题，利用 $ A = UU^T $ 且 $ U \geq 0 $ 意味着 $ A $ 为完全正矩阵的性质。
• 通过半定规划（SDP）松弛对完全正锥的凸限制进行近似，以逼近NMF问题。
• 在正定矩阵流形上，采用带指数映射的黎曼信赖域方法，高效求解凸松弛问题。
• 利用指数映射推导最优性条件，实现对偶间隙计算与收敛性追踪。
• 通过将凸松弛方法适配至一般 $ A \approx UV^T $ 设置，将对称凸框架扩展至非对称NMF。
• 对松弛后的凸问题实施投影梯度法，并在图划分基准测试中评估性能。

实验结果

研究问题

• RQ1 能否构建非凸NMF问题的凸松弛形式，以实现具有收敛性保证的全局优化？
• RQ2 与乘法更新和交替最小二乘等传统非凸方法相比，凸NMF算法在稳定性与解质量方面的表现如何？
• RQ3 该凸松弛框架在多大程度上可扩展至非对称NMF问题？
• RQ4 在具有二值邻接矩阵的图划分等真实世界应用中，凸NMF方法的有效性如何？
• RQ5 与现有求解器相比，所提出的凸算法在计算复杂度和收敛行为方面表现如何？

主要发现

• 通过完全正矩阵逼近实现的对称NMF凸松弛，可实现具有收敛性保证的全局优化，并支持对偶间隙计算。
• 在图划分任务中，所提出的凸NMF方法在接近二分图的图上优于谱聚类，表明在具有挑战性的情形下具备更优的聚类质量。
• 投影梯度算法的迭代次数随矩阵规模 $ n $ 合理增长，表明在合成随机图上具有实际的收敛行为。
• 该凸NMF方法在不同图连通性水平下表现稳健，结果表明聚类准确率一致（如图2所示，平均性能在1个标准差范围内）。
• 尽管在对称NMF中表现有效，该凸方法在非对称NMF中仍显著慢于内点法，凸显了可扩展性方面的关键挑战。
• 在黎曼流形上使用指数映射，可实现高效优化，并通过对偶间隙实现可靠的收敛性追踪。