[论文解读] Lean Algebraic Multigrid (LAMG): Fast Graph Laplacian Linear Solver (Journal Version)

Oren E. Livne, Achi Brandt|arXiv (Cornell University)|Aug 5, 2011

Matrix Theory and Algorithms被引用 4

一句话总结

本文提出了一种快速、线性规模的图拉普拉斯系统迭代求解器——LAMG（Lean Algebraic Multigrid）。LAMG 通过使用分段常数插值、基于亲和力的节点聚合以及能量校正的粗网格系统，在设置阶段实现 O(m) 存储和 O(m log(1/ε)) 求解时间，适用于多种现实世界图结构，其性能优于直接求解器，且在鲁棒性方面优于组合多网格方法（Combinatorial Multigrid），尽管平均性能略慢。

ABSTRACT

Laplacian matrices of graphs arise in large-scale computational applications such as semi-supervised machine learning; spectral clustering of images, genetic data and web pages; transportation network flows; electrical resistor circuits; and elliptic partial differential equations discretized on unstructured grids with finite elements. A Lean Algebraic Multigrid (LAMG) solver of the symmetric linear system Ax=b is presented, where A is a graph Laplacian. LAMG's run time and storage are empirically demonstrated to scale linearly with the number of edges. LAMG consists of a setup phase during which a sequence of increasingly-coarser Laplacian systems is constructed, and an iterative solve phase using multigrid cycles. General graphs pose algorithmic challenges not encountered in traditional multigrid applications. LAMG combines a lean piecewise-constant interpolation, judicious node aggregation based on a new node proximity measure (the affinity), and an energy correction of coarse-level systems. This results in fast convergence and substantial setup and memory savings. A serial LAMG implementation scaled linearly for a diverse set of 3774 real-world graphs with up to 47 million edges, with no parameter tuning. LAMG was more robust than the UMFPACK direct solver and Combinatorial Multigrid (CMG), although CMG was faster than LAMG on average. Our methodology is extensible to eigenproblems and other graph computations.

研究动机与目标

• 开发一种针对大规模应用中出现的图拉普拉斯系统（如机器学习、谱聚类和偏微分方程）的快速、可扩展的迭代求解器。
• 在无需参数调优的情况下，实现在多种现实世界图结构上的内存和运行时间线性缩放。
• 在一般稀疏图拉普拉斯系统上，性能优于现有求解器，兼具更高的鲁棒性和效率。
• 支持对多个右端向量的快速重求解，这对时间依赖性和迭代应用至关重要。
• 将多网格框架扩展至非传统图结构，包括具有负权重和各向异性特性的图。

提出的方法

• LAMG 在设置阶段通过一种新型节点亲和力度量，构建一系列逐渐变粗的拉普拉斯系统层次。
• 采用轻量级分段常数插值算子，以最小化设置成本和内存使用。
• 对粗网格系统应用能量校正，以防止能量膨胀并维持收敛稳定性。
• 在迭代求解阶段，采用带有 Gauss-Seidel 松弛和自适应粗化的多网格循环，以加速收敛。
• 通过改进的插值和引导循环，使算法能够处理非对角占优和各向异性的图。
• 该框架可通过全近似格式（Full Approximation Scheme, FAS）扩展至特征值问题，从而高效计算最小特征对。

实验结果

研究问题

• RQ1 纯代数多网格方法是否能在一般图拉普拉斯系统上实现内存和运行时间的线性缩放？
• RQ2 在多种现实世界图结构上，LAMG 的性能与直接求解器和组合多网格方法相比如何？
• RQ3 基于亲和力的聚合与能量校正是否能稳定收敛过程，且无需参数调优？
• RQ4 LAMG 在多大程度上可推广至非对称、非对角占优或负权重的图拉普拉斯系统？
• RQ5 多网格框架能否通过 FAS 或瑞利商迭代高效计算最小特征对？

主要发现

• LAMG 在 3,774 个真实世界图（最多含 4700 万个边）上实现了无需任何参数调优的运行时间和内存使用线性缩放。
• 求解器实现了 O(m) 存储和 O(m log(1/ε)) 求解时间，隐藏常数在数百量级，而非数百万。
• LAMG 比 UMFPACK 和组合多网格方法更具鲁棒性，尽管 CMG 在测试集上的平均速度更快。
• 采用基于亲和力的聚合与能量校正显著提升了收敛稳定性，并减少了设置开销。
• 通过改进的插值和引导循环，该方法成功处理了具有负边权重的图（如高阶有限元离散化）。
• 通过全近似格式（FAS），LAMG 框架被成功扩展至特征值问题，实现了对最小特征对的高效计算。