[论文解读] Randomized methods for rank-deficient linear systems

Josef Sifuentes, Zydrunas Gimbutas+1 more|arXiv (Cornell University)|Jan 14, 2014

Matrix Theory and Algorithms参考文献 8被引用 11

一句话总结

本文提出了一种随机算法，通过向矩阵添加一个随机的秩-k扰动，将一致的、秩亏的线性系统转化为以概率1非奇异的系统。该方法可借助GMRES或共轭梯度等迭代求解器实现高效求解，避免了昂贵的SVD或稠密分解，即使在病态的零空间问题中也能实现高精度。

ABSTRACT

We present a simple, accurate method for solving consistent, rank-deficient linear systems, with or without addi- tional rank-completing constraints. Such problems arise in a variety of applications, such as the computation of the eigenvectors of a matrix corresponding to a known eigenvalue. The method is based on elementary linear algebra combined with the ob- servation that if the matrix is rank-k deficient, then a random rank-k perturbation yields a nonsingular matrix with probability 1.

研究动机与目标

• 解决标准直接方法在计算上不可行的一致秩亏线性系统求解挑战。
• 开发一种数值稳定且高效的传统零空间计算方法（如QR或SVD）的替代方案。
• 通过随机扰动使系统条件良好，从而实现对秩亏系统使用Krylov子空间迭代求解器。
• 为齐次系统（Ax = 0）和非齐次系统（Ax = b）提供可扩展的框架，包括附加约束。
• 将该方法扩展至积分方程和边值问题，其中有限秩亏缺陷常见，如势论和电磁散射问题。

提出的方法

• 对秩亏矩阵 $A$ 引入随机秩-k扰动 $A + PQ^*$，其中 $P, Q \in \mathbb{C}^{n \times k}$ 为随机矩阵。
• 利用当 $P$ 和 $Q$ 从连续分布中抽取时，$A + PQ^*$ 以概率1为非奇异矩阵的性质。
• 使用GMRES或共轭梯度等Krylov子空间迭代方法求解扰动系统 $(A + PQ^*)y = b$。
• 利用 $x - y$ 作为 $A$ 的零空间向量的近似，因为在精确算术下有 $A(x - y) = 0$。
• 采用稳定化版本的方案，通过正交投影改善条件并减少误差传播。
• 通过将附加的秩-k约束 $C^*x = f$ 整合到扩展系统中，确保与约束的一致性。

实验结果

研究问题

• RQ1 随机秩-k扰动能否可靠地将秩亏线性系统转化为条件良好、非奇异的系统？
• RQ2 在扰动系统上使用迭代求解器时，所得零空间近似的精度如何？
• RQ3 扰动对Krylov子空间方法的条件数和收敛行为有何影响？
• RQ4 该方法能否在保持精度的前提下扩展至具有附加约束的非齐次系统？
• RQ5 与QR、SVD或反幂迭代等成熟方法相比，该方法在效率和精度方面表现如何？

主要发现

• 随机扰动 $A + PQ^*$ 以概率1生成非奇异矩阵，从而可使用标准迭代求解器。
• 零空间近似误差受 $\delta \left(1 + \frac{\|P\|}{\sigma_{\min}(P_{N^*})}\right)$ 限制，其中 $\delta$ 为残差容差。
• 数值实验表明，对于条件良好的问题，该方法的相对误差在 $10^{-14}$ 到 $10^{-15}$ 量级。
• 稳定化版本的算法即使在较大扰动下也能保持高精度，测试案例中误差低于 $10^{-14}$。
• 当 $A$ 为稀疏矩阵或支持快速矩阵-向量乘法时，该方法尤为有效，因为它避免了稠密分解。
• 该方法适用于势论中的积分方程，其中有限秩亏缺陷自然出现，并提供了一种稳健的正则化策略。