[论文解读] Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization

Reza Borhani, Jeremy Watt+1 more|arXiv (Cornell University)|Sep 17, 2016

Sparse and Compressive Sensing Techniques参考文献 35被引用 5

一句话总结

本文提出了两种快速且高效的对称非负矩阵分解（SNMF）算法：一种基于加速近似梯度（APG）的方法，具有可证明的收敛性；另一种基于启发式交替方向乘子法（ADMM）的框架。基于ADMM的算法在保持与现有最佳方法相当的聚类性能的同时，计算速度比当前最先进方法快1–2个数量级。

ABSTRACT

Symmetric Nonnegative Matrix Factorization (SNMF) models arise naturally as simple reformulations of many standard clustering algorithms including the popular spectral clustering method. Recent work has demonstrated that an elementary instance of SNMF provides superior clustering quality compared to many classic clustering algorithms on a variety of synthetic and real world data sets. In this work, we present novel reformulations of this instance of SNMF based on the notion of variable splitting and produce two fast and effective algorithms for its optimization using i) the provably convergent Accelerated Proximal Gradient (APG) procedure and ii) a heuristic version of the Alternating Direction Method of Multipliers (ADMM) framework. Our two algorithms present an interesting tradeoff between computational speed and mathematical convergence guarantee: while the former method is provably convergent it is considerably slower than the latter approach, for which we also provide significant but less stringent mathematical proof regarding its convergence. Through extensive experiments we show not only that the efficacy of these approaches is equal to that of the state of the art SNMF algorithm, but also that the latter of our algorithms is extremely fast being one to two orders of magnitude faster in terms of total computation time than the state of the art approach, outperforming even spectral clustering in terms of computation time on large data sets.

研究动机与目标

• 开发用于对称非负矩阵分解（SNMF）的高效优化算法，SNMF是基于图和谱聚类中的关键问题。
• 通过利用变量分裂和现代优化框架，解决现有SNMF求解器的计算瓶颈。
• 通过引入一种具有理论收敛保证的APG方法和一种计算速度更快的启发式ADMM方法，在计算速度与收敛性保证之间实现平衡。
• 证明所提出的ADMM方法在大规模数据集上的运行时间上不仅优于当前最先进SNMF方法，也优于谱聚类。

提出的方法

• 通过变量分裂重述SNMF问题，解耦对称分解约束，从而能够应用先进的优化技术。
• 将加速近似梯度（APG）方法应用于重述后的问题，确保具有理论保证的全局收敛性。
• 为同一重述问题开发一种启发式ADMM框架，以牺牲严格的收敛性证明为代价，显著提升运行速度。
• 使用二次惩罚方法和对偶上升更新来求解增广拉格朗日函数，对变量X、Y、L、Λ和Γ进行迭代更新。
• 在ADMM更新中为L引入软阈值投影步骤，以强制实现非负性和可行性。
• 推导收敛条件，并在较弱假设下证明ADMM序列的任意极限点均满足原始SNMF问题的KKT条件。

实验结果

研究问题

• RQ1 变量分裂与现代优化框架能否被有效应用于加速SNMF，同时保持聚类准确性？
• RQ2 基于ADMM的SNMF求解器在计算速度与聚类质量方面，与当前最先进方法相比表现如何？
• RQ3 在SNMF优化中，收敛性保证与计算效率之间的权衡是什么？
• RQ4 启发式ADMM变体能否在大规模数据集上实现比谱聚类更快的计算时间？
• RQ5 在何种条件下，所提出的ADMM算法会收敛到原始SNMF问题的KKT点？

主要发现

• 在包含数千个数据点的中等规模数据集上，基于ADMM的算法比当前最先进SNMF方法快1–2个数量级。
• 在大规模数据集上，基于ADMM的算法在计算时间上优于谱聚类，展现出更优的可扩展性。
• 两种提出的算法在聚类效果上与现有最佳SNMF方法相当，证实了其有效性。
• 基于APG的方法具有可证明的收敛性，提供了强有力的理论保证，但其运行速度显著慢于ADMM变体。
• 在相邻迭代值之差趋于零的假设下，ADMM方法收敛到原始SNMF问题的KKT点。
• ADMM变体的收敛性证明虽不如APG严格，但仍能证明极限点满足原始问题的KKT条件。