[论文解读] Gaussian Elimination with Randomized Complete Pivoting

Christopher Melgaard, Ming Gu|arXiv (Cornell University)|Nov 26, 2015

Matrix Theory and Algorithms参考文献 9被引用 3

一句话总结

本文提出高斯消去法随机完全选主元（GERCP），一种新颖的算法，结合了完全选主元的数值稳定性与部分选主元的计算效率。通过使用随机化选择列主元，GERCP在仅带来微小计算成本增加的情况下，实现了与完全选主元相似的元素增长界，其稳定性优于GEPP，同时保持了接近GEPP的运行速度。

ABSTRACT

Gaussian elimination with partial pivoting (GEPP) has long been among the most widely used methods for computing the LU factorization of a given matrix. However, this method is also known to fail for matrices that induce large element growth during the factorization process. In this paper, we propose a new scheme, Gaussian elimination with randomized complete pivoting (GERCP) for the efficient and reliable LU factorization of a given matrix. GERCP satisfies GECP (Gaussian elimination with complete pivoting) style element growth bounds with high probability, yet costs only marginally higher than GEPP. Our numerical experimental results strongly suggest that GERCP is as reliable as GECP and as efficient as GEPP for computing the LU factorization.

研究动机与目标

• 解决在病态矩阵上使用部分选主元高斯消去法（GEPP）时因元素增长过大而导致的数值不稳定性问题。
• 开发一种方法，在不付出完全选主元（GECP）高计算成本的前提下，实现GECP的稳定性。
• 设计一种选主元策略，通过随机化手段将元素增长控制在高概率下的次指数水平，以减少计算开销。
• 提供一种实用的GEPP替代方案，在包括Wilkinson矩阵和Volterra矩阵等病态情况在内的多种矩阵类型中，保持高精度。

提出的方法

• GERCP在每次消去阶段使用随机化选择列主元，用随机选择替代确定性的完全选主元，从而保持稳定性。
• 算法基于从随机采样的列子集中最大元素的位置执行行与列交换，减少对穷举搜索的需求。
• 通过覆盖输入矩阵的方式保持LU分解结构，将L存储为单位对角矩阵，U存储在上三角部分。
• 引入采样参数 r > 0 以控制选主元过程中使用的随机子集大小，实现精度与成本之间的平衡。
• GERCP被设计为以高概率将元素增长限制在次指数水平，其理论边界与GECP一致。
• 该算法以Fortran实现，并在标准测试矩阵和随机系统上进行测试，以评估其稳定性和性能。

实验结果

研究问题

• RQ1 能否通过随机化手段在LU分解中实现完全选主元的稳定性，同时保留部分选主元的效率？
• RQ2 GERCP是否能在高概率下将元素增长控制在次指数水平，即使在GEPP中会出现灾难性增长的矩阵上也成立？
• RQ3 在病态矩阵上，GERCP与GEPP、GECP及掠夺者选主元（rook pivoting）在向后误差和元素增长方面表现如何？
• RQ4 采样参数 r 对GERCP的稳定性和性能有何影响？
• RQ5 GERCP能否在高性能计算环境中提供一种实用、可靠且高效的现有LU分解方法替代方案？

主要发现

• GERCP的向后误差水平几乎与GECP相当，显著优于病态矩阵（如Wilkinson矩阵和Volterra矩阵）上的GEPP。
• 对于标准正态分布的随机矩阵，GERCP相比GEPP将相对残差降低了约一半，接近GECP的精度。
• GERCP中的元素增长保持有界且为次指数，即使在大 n 情况下，其平均增长因子也接近GECP的水平。
• 该方法保持了高效率，计算成本仅比GEPP略高，适用于大规模问题。
• 数值实验表明，GERCP能有效防止在GEPP失效的矩阵（如具有指数增长模式的矩阵）中出现灾难性元素增长。
• GERCP在稳定性与一致性方面优于掠夺者选主元（GERP）和GE2CP，尤其在具有被动-攻击型增长特性的矩阵上表现更优。