[论文解读] Fast and stable randomized low-rank matrix approximation

Yuji Nakatsukasa|arXiv (Cornell University)|Sep 23, 2020

Sparse and Compressive Sensing Techniques参考文献 55被引用 18

一句话总结

本文提出广义Nyström方法，一种针对一般稠密和稀疏矩阵的数值稳定、单次遍历随机低秩矩阵逼近方法。其时间复杂度接近最优，为$O(mn\log n + r^3)$，在速度上相比HMT和Tropp方法最高可提升10倍，同时保持相近的精度，尤其在$r$较大时表现更优，并且无需正交化即可实现高效更新与降级操作。

ABSTRACT

Randomized SVD has become an extremely successful approach for efficiently computing a low-rank approximation of matrices. In particular the paper by Halko, Martinsson, and Tropp (SIREV 2011) contains extensive analysis, and has made it a very popular method. The typical complexity for a rank-$r$ approximation of $m imes n$ matrices is $O(mn\log n+(m+n)r^2)$ for dense matrices. The classical Nystr{ö}m method is much faster, but applicable only to positive semidefinite matrices. This work studies a generalization of Nystr{ö}m method applicable to general matrices, and shows that (i) it has near-optimal approximation quality comparable to competing methods, (ii) the computational cost is the near-optimal $O(mn\log n+r^3)$ for dense matrices, with small hidden constants, and (iii) crucially, it can be implemented in a numerically stable fashion despite the presence of an ill-conditioned pseudoinverse. Numerical experiments illustrate that generalized Nystr{ö}m can significantly outperform state-of-the-art methods, especially when $r\gg 1$, achieving up to a 10-fold speedup. The method is also well suited to updating and downdating the matrix.

研究动机与目标

• 将原始仅适用于正半定矩阵的Nyström方法推广至一般矩阵，同时保持其在速度与精度方面的优势。
• 消除HMT和Tropp等随机SVD方法中固有的$O(mr^2)$正交化计算开销，尤其在$r$较大时优势显著。
• 尽管逼近公式中使用了伪逆（易受病态影响），仍确保数值稳定性。
• 支持高效矩阵更新与降级操作，这对流式处理与增量学习应用至关重要。
• 在逼近精度上接近最优，与HMT和Tropp方法相当，但计算开销显著降低。

提出的方法

• 提出广义Nyström逼近公式：$\hat{A}_r = A X (X^T A X)^\dagger X^T$，其中$X$为随机压缩矩阵，将经典Nyström方法推广至非正半定矩阵。
• 使用随机压缩矩阵$X \in \mathbb{R}^{n \times r}$计算$A X$与$X^T A X$，避免对$A X$进行完整正交化。
• 采用随机范围查找算法计算$Q = \text{orth}(A X)$，并利用$Q$构造逼近$A Q (Q^T A Q)^\dagger Q^T$，该形式在数学上等价于广义Nyström公式。
• 利用结构化随机矩阵（如SRHT、SRFT、子采样DCT）加速矩阵-向量乘积，实现$O(mn\log n)$的采样复杂度。
• 提出稳定性分析，表明舍入误差对逼近结果影响可忽略，确保方法在使用伪逆时仍具备数值鲁棒性。
• 通过重用已有的$X$与$A X$计算结果，实现高效矩阵更新，避免从头重新计算。

实验结果

研究问题

• RQ1 Nyström方法在速度、精度与单次遍历方面的优势能否推广至非正半定矩阵？
• RQ2 能否在一般矩阵上实现接近最优的逼近质量，且时间复杂度为$O(mn\log n + r^3)$，同时最小化正交化开销？
• RQ3 尽管使用了可能病态的伪逆，能否实现类似Nyström方法的数值稳定性？
• RQ4 广义Nyström方法在增加秩$r$时的性能表现如何，尤其与HMT和Tropp方法相比？
• RQ5 该方法能否在流式或增量学习场景中支持高效的矩阵更新与降级操作？

主要发现

• 当$r$较大时，广义Nyström方法相比HMT与Tropp方法最高可实现10倍的速度提升，且随着$r$增大，速度优势进一步增强。
• 该方法保持了与HMT和Tropp方法相近的逼近精度，各类方法在Frobenius范数下的相对误差几乎完全一致。
• 数值实验表明，舍入误差对广义Nyström逼近结果的影响可忽略不计，验证了其数值稳定性。
• 对于具有几何衰减奇异值的$50,000 \times 50,000$稠密矩阵，广义Nyström在运行时间上显著优于HMT与Tropp，尤其在高秩情况下优势明显。
• 在稀疏矩阵实验中，广义Nyström仍实现显著提速，尽管其方法未在因子中强制保持稀疏性，提示未来可与稀疏压缩技术结合使用。
• 矩阵更新实验表明，广义Nyström通过重用已有压缩矩阵与乘积计算，实现了高效的增量更新，避免了完整重新计算。