[论文解读] An Efficient Solver for Sparse Linear Systems Based on Rank-Structured Cholesky Factorization

Jeffrey N. Chadwick, David Bindel|arXiv (Cornell University)|Jul 20, 2015

Matrix Theory and Algorithms参考文献 17被引用 8

一句话总结

本文提出了一种新型稀疏、秩结构化的Cholesky求解器，结合了低秩矩阵近似的内存效率与超节点Cholesky分解的高性能内存访问模式。通过在Cholesky分解的非对角块和对角块上应用随机低秩压缩，该方法在PDE离散化线性系统上实现了低于标准稀疏Cholesky求解器和预处理迭代求解器的内存占用与运行时间。

ABSTRACT

Direct factorization methods for the solution of large, sparse linear systems that arise from PDE discretizations are robust, but typically show poor time and memory scalability for large systems. In this paper, we describe an efficient sparse, rank-structured Cholesky algorithm for solution of the positive definite linear system $A x = b$ when $A$ comes from a discretized partial-differential equation. Our approach combines the efficient memory access patterns of conventional supernodal Cholesky algorithms with the memory efficiency of rank-structured direct solvers. For several test problems arising from PDE discretizations, our method takes less memory than standard sparse Cholesky solvers and less wall-clock time than standard preconditioned iterations.

研究动机与目标

• 解决标准稀疏直接求解器在大规模3D PDE离散化中内存与时间可扩展性差的问题。
• 通过利用非对角块与对角块中的低秩结构，克服传统稀疏Cholesky分解的高填充与内存开销。
• 设计一种黑箱求解器，无需了解底层PDE网格或几何信息，同时保持高性能。
• 在PDE问题上，实现优于标准稀疏Cholesky求解器与预处理迭代方法的内存与时间效率。
• 通过递归低秩近似对角块进行分层压缩，进一步降低存储与计算成本。

提出的方法

• 将超节点左向追踪Cholesky算法适配为将具有相似稀疏模式的列分组为超节点，以支持密集矩阵运算，提升性能。
• 通过幂迭代法应用随机奇异值分解（SVD），计算超节点间非对角块 $\mathbf{L}^O_j$ 的低秩近似。
• 使用隐式矩阵-向量乘法避免显式构造大型非对角块，从而在低秩近似过程中减少内存占用。
• 在大型超节点内部进行重排，以暴露对角块 $\mathbf{L}^D_j$ 中的低秩结构，从而实现子块的递归压缩。
• 使用基于QR的正交化方法从随机投影中提取正交基，确保非对角交互的稳定低秩分解。
• 通过递归对由变量空间分离形成的子块应用低秩近似，实现对角块的分层压缩。

实验结果

研究问题

• RQ1 在Cholesky分解中对非对角块与对角块进行低秩压缩，是否能在不损失解精度的前提下减少内存使用？
• RQ2 将超节点结构与低秩近似相结合，是否能比标准稀疏Cholesky或预处理Krylov方法获得更快的求解时间？
• RQ3 能否设计一种黑箱求解器，自动利用PDE离散化中的低秩结构，而无需依赖网格或几何信息？
• RQ4 随机SVD结合隐式矩阵-向量乘法在近似稀疏Cholesky分解中的大型非对角块时，效果如何？
• RQ5 在大规模3D问题中，对角块的分层压缩能在多大程度上进一步降低内存与计算成本？

主要发现

• 所提出的求解器在多个PDE离散化测试问题上的内存使用量低于标准稀疏Cholesky求解器。
• 该求解器在相同测试问题上的运行时间快于标准预处理迭代求解器。
• 通过随机SVD与隐式矩阵-向量乘积，非对角块的低秩近似被高效计算，避免了显式存储。
• 对角块的分层压缩揭示了递归低秩结构，使大型超节点中的内存进一步减少。
• 该方法通过超节点框架实现的优化内存访问模式，保持了高性能，同时实现了数据稀疏压缩。
• 求解器作为黑箱运行，无需了解底层PDE网格或几何信息，因此可广泛应用于PDE离散化问题。