[论文解读] Learning Algebraic Multigrid Using Graph Neural Networks

Ilay Luz, Meirav Galun+3 more|arXiv (Cornell University)|Mar 12, 2020

Model Reduction and Neural Networks被引用 11

一句话总结

本论文提出一种基于图神经网络（GNN）的框架，用于在图结构矩阵上通过无监督消息传递训练，学习稀疏对称正定（半）定线性系统的代数多重网格（AMG）限制算子。该方法在问题规模、拓扑结构和分布上均具有泛化能力，在谱聚类、偏微分方程（PDEs）和图拉普拉斯问题中，收敛速度优于经典AMG。

ABSTRACT

Efficient numerical solvers for sparse linear systems are crucial in science and engineering. One of the fastest methods for solving large-scale sparse linear systems is algebraic multigrid (AMG). The main challenge in the construction of AMG algorithms is the selection of the prolongation operator -- a problem-dependent sparse matrix which governs the multiscale hierarchy of the solver and is critical to its efficiency. Over many years, numerous methods have been developed for this task, and yet there is no known single right answer except in very special cases. Here we propose a framework for learning AMG prolongation operators for linear systems with sparse symmetric positive (semi-) definite matrices. We train a single graph neural network to learn a mapping from an entire class of such matrices to prolongation operators, using an efficient unsupervised loss function. Experiments on a broad class of problems demonstrate improved convergence rates compared to classical AMG, demonstrating the potential utility of neural networks for developing sparse system solvers.

研究动机与目标

• 开发一种数据驱动框架，用于学习AMG限制算子，而无需依赖问题特定的启发式方法。
• 在包括非结构化图和不同问题规模在内的多样化稀疏对称正定（半）定矩阵上实现泛化。
• 使用无监督损失函数，训练单一GNN模型，将整个矩阵类别映射为有效的限制算子。
• 通过学习更优的限制矩阵，提升LOBPCG等迭代求解器的收敛速率。
• 在线性系统求解中实现跨分布、拓扑结构和维度的可迁移性。

提出的方法

• 将稀疏矩阵 A 表示为图 GA = (VA, EA)，其中节点对应变量，边对应非零矩阵条目，权重为 Aij。
• 使用具有消息传递架构的图神经网络，从输入图特征中预测限制算子 P。
• 结合节点和边特征，包括独热编码和编码器输出，以增强消息传播。
• 使用基于粗网格近似中误差减少的无监督损失函数进行GNN训练，避免使用标注数据。
• 对块周期性三角形网格应用新型傅里叶分析，以在局部非结构化问题上实现高效训练。
• 使用W循环多重网格求解器，以LOBPCG作为粗网格求解器，通过残差容差评估收敛性。

实验结果

研究问题

• RQ1 能否训练单一GNN模型，使其在多样化稀疏对称正定矩阵上泛化，并学习到有效的限制算子？
• RQ2 在不同问题类别中，学习得到的AMG求解器与经典AMG相比，收敛速率如何？
• RQ3 该GNN在未见的问题规模、分布和图拓扑结构上，泛化能力达到何种程度？
• RQ4 哪些架构组件（例如，消息传递深度、特征拼接、独热指示符）对性能影响最大？
• RQ5 在块循环矩阵上进行无监督训练，能否产生适用于真实世界问题的可泛化、高性能限制算子？

主要发现

• 在1,000个点的双高斯谱聚类问题中，基于GNN的AMG求解器在LOBPCG迭代次数上相比经典AMG平均减少14.2%。
• 在10,000个点的问题中，该方法平均减少10.2%的迭代次数，展示了良好的可扩展性和泛化能力。
• 该模型在分布上表现出有效泛化：在双高斯、五高斯、月亮形和同心圆问题中，其迭代次数达到经典AMG的85.8%至94.2%。
• 消融研究显示，减少消息传递层数会使成功率从79%降至63%，表明对架构深度高度敏感。
• 移除独热边和节点指示符后，性能下降至68%的成功率，凸显其在特征表示中的重要性。
• 该模型在三维双高斯问题中保持强劲性能（达到CAMG迭代次数的89.5%），在5-NN和三维变体中亦表现稳健，证实其对拓扑变化的鲁棒性。