[论文解读] Learning to Optimize Multigrid PDE Solvers

Daniel Greenfeld, Meirav Galun+3 more|arXiv (Cornell University)|Feb 25, 2019

Distributed and Parallel Computing Systems被引用 30

一句话总结

本文提出了一种深度学习框架，通过无监督训练，使单一神经网络能够为具有空间变化系数的一类二维扩散PDE，生成最优的延拓算子。该方法基于算子的代数性质进行训练，可在不同网格尺寸、边界条件和系数分布之间泛化，收敛速度优于经典的黑箱多重网格方法。

ABSTRACT

Constructing fast numerical solvers for partial differential equations (PDEs) is crucial for many scientific disciplines. A leading technique for solving large-scale PDEs is using multigrid methods. At the core of a multigrid solver is the prolongation matrix, which relates between different scales of the problem. This matrix is strongly problem-dependent, and its optimal construction is critical to the efficiency of the solver. In practice, however, devising multigrid algorithms for new problems often poses formidable challenges. In this paper we propose a framework for learning multigrid solvers. Our method learns a (single) mapping from a family of parameterized PDEs to prolongation operators. We train a neural network once for the entire class of PDEs, using an efficient and unsupervised loss function. Experiments on a broad class of 2D diffusion problems demonstrate improved convergence rates compared to the widely used Black-Box multigrid scheme, suggesting that our method successfully learned rules for constructing prolongation matrices.

研究动机与目标

• 解决为新型PDE问题构建高效多重网格求解器的挑战，其中最优延拓算子难以手动设计。
• 克服现有基于学习的PDE求解器的局限性，即每种新问题或PDE实例均需重新训练。
• 开发一种可泛化的框架，学习从PDE离散化到整个扩散方程族中有效延拓算子的单一映射。
• 实现在无需真实解或算子作为监督信号的无监督训练，仅依赖于所学算子的代数质量度量。
• 在问题规模、边界条件和系数分布方面实现泛化，即使在训练数据有限且为小规模的情况下亦成立。

提出的方法

• 训练深度神经网络，将由系数场定义的二维扩散PDE离散化结果映射为多重网格求解器中使用的延拓算子。
• 采用基于代数多重网格原理的无监督损失函数，特别关注延拓算子的平滑性和近似质量。
• 在小规模问题（例如 $32 \times 32$）上进行网络训练，使用块傅里叶模态分析提高效率，系数场为块周期性分布。
• 利用延拓算子的局部结构，实现向更大网格（最高达 $1024 \times 1024$）和不同边界条件（如狄利克雷边界代替周期性边界）的泛化。
• 在测试时应用训练好的网络，为新PDE实例生成求解器而无需重新训练，包括非正方形区域和不同系数分布。
• 通过在未见测试问题上比较每个多重网格循环（V-循环和W-循环）的收敛因子来评估性能。

实验结果

研究问题

• RQ1 是否可以训练单一神经网络，为具有空间变化系数的一整类二维扩散PDE生成有效的延拓算子？
• RQ2 在小规模周期性问题上训练的模型，能在多大程度上泛化到更大网格、不同边界条件和非周期性系数分布？
• RQ3 基于算子代数性质的无监督训练，是否能产生优于经典启发式方法（如黑箱方案）的多重网格求解器？
• RQ4 当扩散系数分布发生偏移时（例如，训练时为对数正态分布，测试时为均匀分布），所学求解器的鲁棒性如何？
• RQ5 当应用于包含附加项（如对角稳定项 $\varepsilon u$）的PDE时，该框架是否仍能保持性能优势，该类项在时间依赖问题中具有实际意义？

主要发现

• 所学多重网格求解器在所有测试配置下均显著快于黑箱多重网格方案，包括 $1024 \times 1024$ 网格。
• 在对数正态分布系数的W-循环中，基于网络的方法在98%的 $1024 \times 1024$ 测试实例中优于黑箱方案。
• 在非正方形圆盘区域上，基于网络的方法将每循环的渐近误差范数降低至 $0.1352 \pm 0.0155$（W-循环），而黑箱方法为 $0.1639 \pm 0.0169$。
• 即使在测试时采用不同系数分布（均匀分布 vs. 对数正态分布训练），基于网络的方法仍保持性能优势，在81%的 $1024 \times 1024$ V-循环和96%的W-循环实例中优于黑箱方案。
• 该方法在加入 $\varepsilon u$ 项的对角占优问题上也有效泛化，对一系列 $\varepsilon h^2$ 值保持更优的收敛因子。
• 随着网格尺寸增大，基于网络的方法成功率保持稳定或提升，表明即使在小规模问题上训练，也具备强大的泛化能力。