[论文解读] Blending Neural Operators and Relaxation Methods in PDE Numerical Solvers

Enrui Zhang, Adar Kahana+5 more|arXiv (Cornell University)|Aug 28, 2022

Model Reduction and Neural Networks被引用 9

一句话总结

HINTS 提出了一种混合数值求解器，将深度算子网络（DeepONet）与经典松弛方法相结合，以加速求解偏微分方程（PDE）时的收敛速度。通过利用 DeepONet 针对低频特征模式，同时使用松弛求解器处理高频模式，HINTS 在多种 PDE、维度和几何形状下实现了接近机器精度的高精度，并显著加快了收敛速度。

ABSTRACT

Neural networks suffer from spectral bias having difficulty in representing the high frequency components of a function while relaxation methods can resolve high frequencies efficiently but stall at moderate to low frequencies. We exploit the weaknesses of the two approaches by combining them synergistically to develop a fast numerical solver of partial differential equations (PDEs) at scale. Specifically, we propose HINTS, a hybrid, iterative, numerical, and transferable solver by integrating a Deep Operator Network (DeepONet) with standard relaxation methods, leading to parallel efficiency and algorithmic scalability for a wide class of PDEs, not tractable with existing monolithic solvers. HINTS balances the convergence behavior across the spectrum of eigenmodes by utilizing the spectral bias of DeepONet, resulting in a uniform convergence rate and hence exceptional performance of the hybrid solver overall. Moreover, HINTS applies to large-scale, multidimensional systems, it is flexible with regards to discretizations, computational domain, and boundary conditions.

研究动机与目标

• 解决经典迭代求解器的局限性——例如在非对称或不定系统中收敛缓慢，以及在低频特征模式上表现不佳的问题。
• 通过将深度学习与成熟的松弛技术相结合，克服现有数值求解器在速度与精度之间的权衡。
• 开发一种可迁移的迭代求解器，在广泛范围的 PDE 和离散化条件下保持高精度，同时大幅减少求解时间。
• 在无需为每个新几何形状或方程类型重新训练的前提下，实现在多维问题和复杂计算域中的鲁棒性能。

提出的方法

• 在混合迭代框架中结合 DeepONet 与标准松弛方法（如 Gauss-Seidel、Jacobi），用于求解 PDE 离散化后产生的线性系统。
• 利用 DeepONet 预测解向量的校正，特别针对经典松弛方法难以解析的低频特征模式。
• 将 DeepONet 预测集成到多重网格 V-循环框架中，使 DeepONet 在粗网格上替代或增强松弛扫描。
• 在由不同相关长度的高斯随机场生成的随机 PDE 问题数据集上训练 DeepONet，以确保泛化能力。
• 采用混合更新规则，使解的校正为 DeepONet 预测与经典松弛更新的加权组合。
• 通过特征模式分析验证，DeepONet 与松弛方法在特征模式谱的不同区域发挥作用，确保全谱范围的均匀收敛。

实验结果

研究问题

• RQ1 DeepONet 能否有效集成到经典松弛方法中，以提升求解 PDE 时的收敛速度？
• RQ2 该混合 HINTS 求解器是否在收敛速度优于标准求解器的同时，仍能保持接近机器零精度的高精度？
• RQ3 HINTS 的各组成部分——DeepONet 与松弛方法——在特征模式谱上的目标区域如何互补？
• RQ4 HINTS 在无需重新训练的情况下，对不同 PDE 类型、空间维度和计算域的可迁移性达到何种程度？
• RQ5 在收敛速度与计算成本之间，DeepONet 与经典松弛方法的最佳平衡点在哪里？

主要发现

• HINTS 实现了与最先进多重网格求解器相当或更优的收敛速率，在 1D、2D 和 3D 的泊松方程与赫姆霍兹方程中均观察到显著加速。
• 特征模式分析证实，DeepONet 有效聚焦于低频模式，而经典松弛方法则处理高频模式，从而在全谱范围内实现均匀收敛。
• 该求解器在所有测试案例中均保持了接近机器精度（约 1e-14）的精度，即使在减少对经典迭代依赖的情况下亦如此。
• HINTS 展现出强大的可迁移性：在一种相关长度的随机场数据上训练后，能良好泛化至不同相关长度和问题几何形状。
• 计算成本分析表明，HINTS 在迭代次数-求解性能方面优于标准多重网格求解器和仅使用 DeepONet 的求解器，尤其在高维和复杂几何问题中表现更优。
• 该方法在不同子区间数量和训练数据规模下均表现稳健，即使调整 DeepONet 使用比例，收敛稳定性依然保持。