[论文解读] A fast two-stage algorithm for non-negative matrix factorization in streaming data

Ran Gu, Qiang Du+1 more|arXiv (Cornell University)|Jan 21, 2021

Blind Source Separation Techniques参考文献 32被引用 4

一句话总结

该论文提出了一种用于流数据的快速两阶段非负矩阵分解（NMF）算法，第一阶段结合交替非负最小二乘法（ANLS）与主动集方法，第二阶段采用线搜索内点法。该方法在现有算法基础上实现高达10倍的加速，尤其在 $n \gg m \gg k$ 的场景下表现优异，其中 $n \leq 5000$，$m \leq 200$，$k \leq 10$。算法利用数据连续性实现高效的主动集更新，并通过牛顿型步长加速局部收敛。

ABSTRACT

In this article, we study algorithms for nonnegative matrix factorization (NMF) in various applications involving streaming data. Utilizing the continual nature of the data, we develop a fast two-stage algorithm for highly efficient and accurate NMF. In the first stage, an alternating non-negative least squares (ANLS) framework is used, in combination with active set method with warm-start strategy for the solution of subproblems. In the second stage, an interior point method is adopted to accelerate the local convergence. The convergence of the proposed algorithm is proved. The new algorithm is compared with some existing algorithms in benchmark tests using both real-world data and synthetic data. The results demonstrate the advantage of our algorithm in finding high-precision solutions.

研究动机与目标

• 为解决在高维单个测量值（$n \gg k$）和有限时间点（$m \gg k$）的流数据中，高效计算高精度非负矩阵分解（NMF）的挑战。
• 利用流数据的持续性——即数据随时间平滑演化——通过热启动策略和主动集更新加速收敛。
• 结合ANLS的快速初始下降特性与内点法的快速局部收敛优势，以提升效率与精度。
• 开发一种计算可扩展的算法，每轮迭代复杂度为 $O(nm^2k^3)$，适用于材料合成监测等实时应用场景。

提出的方法

• 第一阶段采用带主动集方法与热启动策略的交替非负最小二乘法（ANLS）框架，利用流数据的时间连续性减少主动集的变更次数。
• 主动集方法通过跟踪活动与非活动约束，高效求解ANLS中的非负性约束子问题，其更新基于先前解的信息。
• 第二阶段转换为线搜索内点法，通过利用牛顿型搜索方向实现超线性局部收敛。
• 内点法针对流数据进行了优化，每轮迭代的计算复杂度控制在 $O(nm^2k^3)$，从而在接近最优解时实现快速收敛。
• 实施了两阶段转换机制，将ANLS的解作为内点法的初始猜测，并通过精细的参数调优避免不稳定性。
• 理论上证明了线搜索内点法的全局收敛性，确保了局部优化的鲁棒性。

实验结果

研究问题

• RQ1 结合ANLS与主动集方法及内点法的两阶段优化策略，能否显著提升流数据NMF的计算速度与精度？
• RQ2 热启动与主动集更新如何利用流数据的时间连续性以降低计算开销？
• RQ3 当从ANLS解初始化时，内点法在NMF中能将局部收敛速度提升到何种程度？
• RQ4 在 $n \gg m \gg k$ 的场景下，所提算法的计算复杂度与可扩展性如何？
• RQ5 在合成数据与真实世界流数据上，该算法在精度与速度方面相较于NeNMF、QRPBB与ANLS-BPP等现有NMF方法表现如何？

主要发现

• 所提出的两阶段算法在所有测试方法中实现了最高的解精度，合成数据上目标函数误差低至 $3.07 \times 10^{-7}$。
• 在维度为 $n=2000$，$m=50$，$k=3$ 的合成数据上，该算法平均仅耗时3.31秒，显著优于NeNMF（60.01秒）、QRPBB（29.36秒）和ANLS-BPP（58.48秒）。
• 当 $m=100$ 时，算法仍保持高效，平均在25.54秒内求解 $n=2000$，$m=100$，$k=6$ 的问题，而NeNMF与QRPBB耗时接近60秒。
• 所有测试案例中，算法均一致收敛至相同的最优目标值，表明其具有高度鲁棒性与高精度解的质量。
• 内点法阶段显著加速了接近最优解时的收敛过程，尤其在优化的最后阶段观察到最快的局部收敛速度。
• 尽管在转换阶段存在稳定性挑战，但通过精细的参数选择实现了可靠性能，表明若采用更优的初始化技术，仍有进一步提升空间。