[论文解读] Fast hierarchical solvers for sparse matrices

Hadi Pouransari, Pieter Coulier+1 more|arXiv (Cornell University)|Oct 26, 2015

Matrix Theory and Algorithms被引用 3

一句话总结

本文提出了一种新型的、完全代数的稀疏矩阵求解器，通过使用分层低秩结构近似LU分解，实现了线性复杂度和可调精度。该方法利用邻接图中良好分离块的填充项低秩压缩来近似填充，从而实现高效的直接求解，或作为GMRES等迭代方法的黑箱预条件器。

ABSTRACT

Sparse linear systems are ubiquitous in various scientific computing applications. Inversion of sparse matrices with standard direct solve schemes are prohibitive for large systems due to their quadratic/cubic complexity. Iterative solvers, on the other hand, demonstrate better scalability. However, they suffer from poor convergence rates when used without a preconditioner. There are many preconditioners developed for different problems, such as ILU, AMG, Gauss-Seidel, etc. The choice of an effective preconditioner is highly problem dependent. We propose a novel fully algebraic sparse matrix solve algorithm, which has linear complexity with the problem size. Our scheme is based on the Gauss elimination. For a given matrix, we approximate the LU factorization with a tunable accuracy determined a priori. This method can be used as a stand-alone direct solver with linear complexity and tunable accuracy, or it can be used as a black-box preconditioner in conjunction with iterative methods such as GMRES. The proposed solver is based on the low-rank approximation of fill-ins generated during the elimination. Similar to H-matrices, fill-ins corresponding to blocks that are well-separated in the adjacency graph are represented via a hierarchical structure.

研究动机与目标

• 为解决大规模稀疏线性系统直接求解器计算成本过高的问题，其计算复杂度随问题规模呈二次或三次方增长。
• 通过开发一种鲁棒且与问题无关的预条件器，克服迭代求解器收敛性差的问题，且具备可调精度。
• 设计一种具有线性复杂度的直接求解器，通过先验误差界实现精度控制。
• 通过高斯消去过程中对填充项进行分层低秩近似，实现稀疏线性系统的高效求解。
• 提供与GMRES等迭代方法兼容的黑箱预条件器，无需进行问题特定的调优。

提出的方法

• 该方法通过在高斯消去过程中对生成的填充项进行分层低秩压缩，近似稀疏矩阵的LU分解。
• 利用邻接图结构识别良好分离的块，将这些块的填充项视为低秩矩阵，以减少存储和计算开销。
• 算法在事前应用可调精度阈值，以控制LU分解中的近似误差。
• 分层结构模仿H-矩阵技术，基于图中的分离性递归划分块，以应用低秩压缩。
• 该求解器可独立作为直接求解器使用，也可作为GMRES等Krylov子空间迭代方法的预条件器。
• 该方法通过在保持稀疏模式的同时，利用低秩近似压缩填充项，维持了数值稳定性。

实验结果

研究问题

• RQ1 一种完全代数的稀疏矩阵求解器能否在保持可调精度的同时实现线性复杂度？
• RQ2 对填充项进行分层低秩近似在稀疏LU分解中能否有效降低计算成本？
• RQ3 所提出的求解器在作为GMRES等迭代求解器的黑箱预条件器时，其有效性如何？
• RQ4 该方法能否在无需问题特定调优的情况下，保持对各类稀疏矩阵问题的精度？
• RQ5 在所提出的近似方案中，精度与计算效率之间的权衡如何？

主要发现

• 所提出的求解器在问题规模上实现了线性复杂度，计算成本显著低于标准直接求解器。
• 通过先验误差控制实现可调精度，使用户能够平衡速度与精度。
• 对填充项进行分层低秩近似，有效降低了消除过程中的内存占用和计算时间。
• 该求解器在GMRES中表现出色，显著加快了迭代方法的收敛速度。
• 该方法完全代数化，无需问题特定知识，因此可广泛适用于各类稀疏矩阵类型。
• 在传统直接求解器因三次方复杂度而变得不可行的大规模系统中，该方法表现出高效的可扩展性。