[论文解读] Alternating proximal gradient method for nonnegative matrix factorization

Yangyang Xu|arXiv (Cornell University)|Dec 22, 2011

Sparse and Compressive Sensing Techniques参考文献 20被引用 8

一句话总结

本文提出了一种带有Nesterov型外推的交替近似梯度方法，用于非负矩阵分解（NMF），在迭代序列具有下界假设的前提下，证明了其收敛至一阶最优解。加速版本在真实数据上显著提升了收敛速度，同时保持了解的质量，效率优于当前最先进的算法。

ABSTRACT

Nonnegative matrix factorization has been widely applied in face recognition, text mining, as well as spectral analysis. This paper proposes an alternating proximal gradient method for solving this problem. With a uniformly positive lower bound assumption on the iterates, any limit point can be proved to satisfy the first-order optimality conditions. A Nesterov-type extrapolation technique is then applied to accelerate the algorithm. Though this technique is at first used for convex program, it turns out to work very well for the non-convex nonnegative matrix factorization problem. Extensive numerical experiments illustrate the efficiency of the alternating proximal gradient method and the accleration technique. Especially for real data tests, the accelerated method reveals high superiority to state-of-the-art algorithms in speed with comparable solution qualities.

研究动机与目标

• 解决在人脸识别和文本挖掘等应用中高效求解非凸非负矩阵分解（NMF）问题的挑战。
• 为NMF开发一种收敛算法，确保在迭代序列具有统一正下界假设下收敛至一阶最优解。
• 通过将原本专为凸问题设计的Nesterov型外推技术整合到非凸设置中，提升NMF求解器的收敛速度。
• 在真实世界数据集上，展示加速方法在计算速度方面相对于现有最先进算法的实用性优势。

提出的方法

• 为NMF提出一种交替近似梯度方法，每次仅更新一个因子，同时保持非负性约束。
• 引入对迭代序列的统一正下界假设，以确保收敛至一阶最优解。
• 应用Nesterov的外推技术以加速收敛，将其从凸问题设置适配至非凸NMF场景。
• 通过引入辅助变量进行近似更新，以稳定并加速优化过程。
• 在近似步骤中通过投影或软阈值化操作保持因子的非负性。
• 结合线搜索或回溯法，以确保每次迭代中目标函数均有充分下降。

实验结果

研究问题

• RQ1 在迭代序列具有下界假设的前提下，带有下界假设的交替近似梯度方法是否能保证收敛至非凸NMF中的一阶最优解？
• RQ2 原本为凸问题设计的Nesterov外推技术，是否在非凸NMF中仍能有效加速收敛？
• RQ3 在真实世界数据上，所提出的加速方法与现有最先进NMF算法相比，在速度和解质量方面表现如何？
• RQ4 外推技术在实际非理想设置下，对算法收敛行为有何影响？

主要发现

• 带有对迭代序列统一正下界假设的交替近似梯度方法，收敛至满足一阶最优性条件的点。
• 尽管Nesterov型外推技术最初是为凸问题设计的，但在非凸NMF设置中仍能有效加速收敛。
• 大量数值实验表明，加速方法在真实世界数据集上的收敛速度显著快于最先进算法。
• 在真实数据上，加速方法在保持与现有方法相当解质量的同时，展现出显著的速度优势。
• 该方法在人脸识别、文本挖掘和光谱分析等多种应用中均表现出稳健性能。
• 收敛保证与加速技术相结合，为大规模NMF问题提供了可靠且高效的框架。