[论文解读] A Generalized Randomized Rank-Revealing Factorization

Grey Ballard, James Demmel+2 more|arXiv (Cornell University)|Sep 14, 2019

Sparse and Compressive Sensing Techniques参考文献 17被引用 4

一句话总结

本文提出了一种广义的随机化秩揭示QR分解（GURV），可在不显式计算矩阵乘积及其逆矩阵的情况下，实现高效、稳定且通信最优的低秩逼近计算。该方法以高概率实现强秩揭示特性，具备严格的理论边界，并在数值实验中展现出紧密的实证性能。

ABSTRACT

We introduce a Generalized Randomized QR-decomposition that may be applied to arbitrary products of matrices and their inverses, without needing to explicitly compute the products or inverses. This factorization is a critical part of a communication-optimal spectral divide-and-conquer algorithm for the nonsymmetric eigenvalue problem. In this paper, we establish that this randomized QR-factorization satisfies the strong rank-revealing properties. We also formally prove its stability, making it suitable in applications. Finally, we present numerical experiments which demonstrate that our theoretical bounds capture the empirical behavior of the factorization.

研究动机与目标

• 开发一种可直接作用于矩阵乘积及其逆矩阵的秩揭示分解，而无需显式计算。
• 确保分解在Gu-Eisenstat意义下以高概率保持强秩揭示特性。
• 通过仅依赖QR分解与矩阵乘法，实现通信最优性，使算术与通信复杂度与矩阵乘法复杂度相当。
• 正式证明分解的后向稳定性和理论概率边界。
• 通过在结构化奇异值分布上的广泛数值实验，验证理论边界的紧密性。

提出的方法

• 该方法采用随机采样策略构建秩揭示分解 $ A = URV $，其中 $ U $ 和 $ V $ 为正交矩阵，$ R $ 为上三角矩阵。
• 利用随机范围查找器提取 $ A $ 的值域的良条件基，确保 $ \sigma_{\min}(R_{11}) \approx \sigma_r $ 且 $ \sigma_{\max}(R_{22}) \approx \sigma_{r+1} $。
• 通过将分解应用于乘积结构，将算法推广至处理 $ A = M_1 M_2^{-1} M_3 \cdots $ 的形式，而无需显式计算乘积。
• 理论分析表明，以高概率满足 $ \|R_{11}^{-1} R_{12}\|_2 \leq \frac{4.04}{\delta} \sqrt{r(n-r)} + 1 $。
• 该方法依赖通信避免型QR算法，确保算术复杂度与通信复杂度与矩阵乘法复杂度一致。
• 数值实验采用阶梯状与对数间隔分布的奇异值矩阵，以检验边界的紧密性与实证行为。

实验结果

研究问题

• RQ1 能否设计一种随机QR分解，使其在避免显式计算矩阵乘积或逆矩阵的同时，仍保持强秩揭示特性？
• RQ2 针对分解中 $ R_{11} $ 的条件数、$ R_{22} $ 的范数以及非对角块 $ R_{12} $，可建立何种理论概率边界？
• RQ3 所提出的方法是否实现了与标准QR分解和矩阵乘法相当的通信最优性？
• RQ4 理论边界与不同矩阵结构及奇异值间隙下的实证观测结果相比，其紧密程度如何？
• RQ5 该分解能否在非对称特征值问题的通信最优分治算法中有效应用？

主要发现

• 理论边界 $ \sigma_r / \sigma_{\min}(R_{11}) $、$ \sigma_{\max}(R_{22}) / \sigma_{r+1} $ 以及 $ \|R_{11}^{-1} R_{12}\|_2 $ 以高概率成立，其中后者被限制在 $ \frac{4.04}{\delta} \sqrt{r(n-r)} + 1 $ 以内。
• 边界 $ \|R_{11}^{-1} R_{12}\|_2 \leq \frac{4.04}{\delta} \sqrt{r(n-r)} + 1 $ 被证明是紧密的，因为实证的97百分位数与理论预测高度一致。
• 对于具有阶梯状奇异值分布的矩阵，确定性边界比概率边界宽松，但后者仍保持紧密且具预测性。
• 在 $ n = 1500 $ 且 $ \sigma_r / \sigma_{r+1} = 10^7 $ 的实验中，条件数与非对角块范数的实证97百分位数始终位于理论预测边界之内。
• 即使在未显式计算乘积的情况下应用于矩阵与逆矩阵的乘积，该算法仍保持强秩揭示特性。
• 数值结果证实，理论边界基本紧密，因为实证分布始终略低于理论边界上限，且在多个测试配置下保持一致。