[论文解读] An Efficient, Sparsity-Preserving, Online Algorithm for Low-Rank Approximation

David G. Anderson, Ming Gu|arXiv (Cornell University)|Feb 18, 2016

Sparse and Compressive Sensing Techniques参考文献 35被引用 3

一句话总结

本文提出Spectrum-Revealing LU（SRLU），一种新颖的、保持稀疏性且支持在线处理的低秩矩阵逼近算法，可实现高效计算。通过结合随机采样与确定性优化步骤，SRLU在计算复杂度上与SVD相当，同时保持稀疏性并支持高效的在线更新，实现高精度的低秩逼近。

ABSTRACT

Low-rank matrix approximation is a fundamental tool in data analysis for processing large datasets, reducing noise, and finding important signals. In this work, we present a novel truncated LU factorization called Spectrum-Revealing LU (SRLU) for effective low-rank matrix approximation, and develop a fast algorithm to compute an SRLU factorization. We provide both matrix and singular value approximation error bounds for the SRLU approximation computed by our algorithm. Our analysis suggests that SRLU is competitive with the best low-rank matrix approximation methods, deterministic or randomized, in both computational complexity and approximation quality. Numeric experiments illustrate that SRLU preserves sparsity, highlights important data features and variables, can be efficiently updated, and calculates data approximations nearly as accurately as possible. To the best of our knowledge this is the first practical variant of the LU factorization for effective and efficient low-rank matrix approximation.

研究动机与目标

• 解决大规模数据分析中对高效、可扩展且保持稀疏性的低秩逼近的需求。
• 克服标准LU分解在截断形式下缺乏稳定性与谱揭示特性的局限。
• 开发一种支持增量更新并能识别重要数据特征与变量的在线算法。
• 实现逼近精度在任意矩阵秩下均与最优低秩逼近保持常数倍关系。
• 提供矩阵与奇异值逼近质量的理论误差界及实证验证。

提出的方法

• 提出一种截断LU分解方法，称为Spectrum-Revealing LU（SRLU），通过排列矩阵Π₁与Π₂揭示矩阵的谱特性。
• 利用随机采样高效识别关键行与列用于主元选择，实现可扩展计算。
• 在随机采样后应用确定性后续处理步骤，确保高质量的低秩逼近。
• 通过分块与分块LU分解（Crout风格）优化现代架构上的性能。
• 通过精心设计的主元选择与矩阵更新策略保持稀疏性，最小化填充（fill-in）现象。
• 通过在谱揭示主元前应用缩放因子对旧数据重新加权，支持在线更新。

实验结果

研究问题

• RQ1 能否使截断LU分解在大规模低秩逼近中同时具备谱揭示性与计算高效性？
• RQ2 如何在无需每一步都访问完整矩阵的在线、增量设置中实现完整主元选择？
• RQ3 与标准LU或SVD相比，所提出的SRLU算法在稀疏输入矩阵中保持稀疏性的程度如何？
• RQ4 SRLU相对于最优低秩逼近的理论逼近误差界是什么？
• RQ5 在精度与速度方面，SRLU与SVD及其他随机或确定性低秩方法相比表现如何？

主要发现

• SRLU的逼近精度在常数倍范围内接近最优低秩逼近，与截断SVD的理论性能一致。
• 算法有效保持了稀疏性：实验中，SRLU在oscil_dcop、g7jac020、tols1090与mhd1280a矩阵中分别保持了1,570、62.7K、2.2K与184K个非零元素，显著低于LU或SVD。
• SRLU的相对误差在oscil_dcop中低至1.03e-3，在mhd1280a中低至4.98e-6，表明逼近质量极高。
• TRLUCP（核心算法）在使用最优分块大小时，速度可达LAPACK的DGETRF的两倍，且在计算时间上优于标准右向LU。
• 通过旧数据重新加权，算法支持在线更新，使动态数据逼近中过时观测的重要性降低。
• 理论分析证实，SRLU同时提供了矩阵与奇异值逼近的误差界，确保了鲁棒性与可靠性。