[论文解读] Low-Rank Matrix Approximations with Flip-Flop Spectrum-Revealing QR Factorization

Yuehua Feng, Jianwei Xiao+1 more|arXiv (Cornell University)|Mar 6, 2018

Tensor decomposition and applications参考文献 59被引用 3

一句话总结

本文提出了一种名为 Flip-Flop SRQR 的快速且可靠的低秩矩阵近似方法，结合了谱揭示 QR（SRQR）与部分 LQ 分解。该方法在计算成本更低的情况下，实现了与截断 SVD 相当的精度，相较于随机子空间迭代在速度上表现更优，同时在奇异值快速衰减的矩阵中保持了高精度。

ABSTRACT

We present Flip-Flop Spectrum-Revealing QR (Flip-Flop SRQR) factorization, a significantly faster and more reliable variant of the QLP factorization of Stewart, for low-rank matrix approximations. Flip-Flop SRQR uses SRQR factorization to initialize a partial column pivoted QR factorization and then compute a partial LQ factorization. As observed by Stewart in his original QLP work, Flip-Flop SRQR tracks the exact singular values with "considerable fidelity". We develop singular value lower bounds and residual error upper bounds for Flip-Flop SRQR factorization. In situations where singular values of the input matrix decay relatively quickly, the low-rank approximation computed by SRQR is guaranteed to be as accurate as truncated SVD. We also perform a complexity analysis to show that for the same accuracy, Flip-Flop SRQR is faster than randomized subspace iteration for approximating the SVD, the standard method used in Matlab tensor toolbox. We also compare Flip-Flop SRQR with alternatives on two applications, tensor approximation and nuclear norm minimization, to demonstrate its efficiency and effectiveness.

研究动机与目标

• 开发一种比 QLP 和随机 SVD 更快、更可靠的低秩矩阵近似替代方法。
• 通过利用谱揭示 QR 分解来高保真度追踪奇异值，确保低秩近似的高精度。
• 与现有方法（如随机子空间迭代）相比，降低计算成本，特别是在大规模数据应用中。
• 为近似结果的奇异值下界和残差误差上界提供理论保证。
• 在真实应用场景（如张量近似和核范数最小化）中展示其有效性。

提出的方法

• Flip-Flop SRQR 通过谱揭示 QR（SRQR）初始化部分列主元 QR 分解，以确保数值稳定性并准确追踪奇异值。
• 随后在 SRQR 步骤生成的上三角矩阵上计算部分 LQ 分解。
• 使用截断随机 QRCP（TRQRCP）加速初始 QR 阶段，同时保持谱揭示特性。
• 该算法设计旨在实现与 Stewart 原始 QLP 工作中观察到的‘相当高的保真度’一致的精确奇异值追踪。
• 推导了奇异值和残差误差的理论界，确保在奇异值快速衰减条件下，近似质量可与截断 SVD 相媲美。
• 复杂度分析表明，Flip-Flop SRQR 在相同精度下比随机子空间迭代更快，尤其在奇异值衰减迅速时优势明显。

实验结果

研究问题

• RQ1 结合谱揭示特性的混合 QR-LQ 分解能否在更低计算成本下实现类似 SVD 的精度？
• RQ2 Flip-Flop SRQR 在精度和速度上与随机子空间迭代及其他最先进低秩近似方法相比如何？
• RQ3 在何种条件下，Flip-Flop SRQR 能保证其近似质量与截断 SVD 相当？
• RQ4 可在 Flip-Flop SRQR 近似中建立哪些奇异值和残差误差的理论界？
• RQ5 Flip-Flop SRQR 在实际应用（如张量近似和核范数最小化）中的有效性如何？

主要发现

• 当奇异值快速衰减时，Flip-Flop SRQR 实现的低秩近似精度与截断 SVD 相当。
• 该方法在相同精度下比随机子空间迭代更快，复杂度分析显示其计算成本约为 (4q + 4)mn(k + p) 次浮点运算，但常数因子更低。
• 在张量近似中，Flip-Flop SRQR 的相对误差仅比表现最佳的方法（TUXV）高出 1.5%，同时显著更快。
• 在核范数最小化（矩阵补全）中，Flip-Flop SRQR 实现了 1.00e+00 的相对误差和 1.20e+03 秒的运行时间，与 IALM-RSISVD 和 IALM-LTSVD 相当。
• 理论分析证实，Flip-Flop SRQR 能够提供可靠的奇异值下界和残差误差上界，确保方法的鲁棒性。
• 实验结果表明，Flip-Flop SRQR 在多种应用场景（如主成分分析、人脸识别和信息检索）中均保持高精度，并且计算效率显著提升。