[论文解读] Deep Learning of Preconditioners for Conjugate Gradient Solvers in Urban Water Related Problems

Johannes Sappl, Laurent Seiler+2 more|arXiv (Cornell University)|Jun 17, 2019

Model Reduction and Neural Networks参考文献 17被引用 6

一句话总结

本文提出一种基于卷积神经网络（CNN）的深度学习方法，用于在城市水工程中自动学习共轭梯度（CG）求解器的问题特定预条件矩阵。该方法通过学习稀疏且高效的预条件矩阵，显著加快了收敛速度，实现最高达23倍的加速，其性能优于传统方法（如AMG和不完全Cholesky分解），在流体模拟和管道网络问题中表现更优。

ABSTRACT

Solving systems of linear equations is a problem occuring frequently in water engineering applications. Usually the size of the problem is too large to be solved via direct factorization. One can resort to iterative approaches, in particular the conjugate gradients method if the matrix is symmetric positive definite. Preconditioners further enhance the rate of convergence but hitherto only handcrafted ones requiring expert knowledge have been used. We propose an innovative approach employing Machine Learning, in particular a Convolutional Neural Network, to unassistedly design preconditioning matrices specifically for the problem at hand. Based on an in-depth case study in fluid simulation we are able to show that our learned preconditioner is able to improve the convergence rate even beyond well established methods like incomplete Cholesky factorization or Algebraic MultiGrid.

研究动机与目标

• 为解决城市水工程应用中大规模稀疏对称正定（SPD）线性系统求解的计算瓶颈问题。
• 克服手工设计预条件矩阵的局限性，后者需要专家知识且在问题变化时性能下降。
• 开发一种基于数据驱动的自动化预条件矩阵设计方法，利用深度学习保持数值精度。
• 评估所学习预条件矩阵在不同问题规模和真实世界水网配置下的泛化能力与效率。

提出的方法

• 训练一个卷积神经网络（CNN）将系统矩阵 A 映射为预条件矩阵 M⁻¹，以最小化 A M⁻¹ 的条件数。
• 损失函数定义为预条件系统条件数，通过奇异值分解（SVD）计算。
• 模型在来自流体动力学和管道网络模拟的SPD矩阵数据集上以无监督方式训练。
• 通过右预条件化应用预条件，将系统 A x = b 转换为 A M⁻¹ y = b，以提升CG的收敛性。
• 训练后的CNN可泛化至更大问题规模（如4096维），并在模拟的时间步中重复使用，实现在时间上的线性加速。
• 通过依赖PCG算法进行最终解的计算，避免直接使用机器学习近似 x，从而保持数值精度。

实验结果

研究问题

• RQ1 深度学习模型能否自动学习到适用于城市水系统CG求解器的有效、问题特定的预条件矩阵？
• RQ2 所学习的预条件矩阵在收敛速度和运行时间方面与AMG和不完全Cholesky等成熟方法相比表现如何？
• RQ3 CNN训练的预条件矩阵在不同问题规模和矩阵结构之间具有多大程度的泛化能力？
• RQ4 所学习的预条件矩阵能否在显著降低计算成本的同时保持数值精度？

主要发现

• 在1024维流体模拟案例中，所学习的预条件矩阵相比原始CG方法实现了23倍的加速。
• 在同一案例中，CG迭代次数从98.15次减少至35.86次，同时保持条件数为61.494。
• 所学习的预条件矩阵显著更稀疏（密度为1.413%），远低于AMG（密度为99.471%），从而实现更快的单次迭代计算和整体运行时间优化。
• 该模型在4096维问题上也表现出良好泛化能力，证明其在训练规模之外仍具鲁棒性。
• 在基于EPANET 2的管道网络模拟中，所学习的预条件矩阵表现参差不齐，原因在于矩阵填充增加，表明其对矩阵结构敏感。
• 该方法在流体动力学中优于标准预条件矩阵，但对高度分散的矩阵模式仍需进一步调优。