[论文解读] Meta-MgNet: Meta Multigrid Networks for Solving Parameterized Partial Differential Equations

Yuyan Chen, Bin Dong+1 more|arXiv (Cornell University)|Oct 27, 2020

Model Reduction and Neural Networks参考文献 32被引用 8

一句话总结

本文提出 Meta-MgNet，一种基于元学习的深度学习框架，可在无需微调的情况下高效求解跨多种参数的参数化偏微分方程（PDE）。通过将超网络（Meta-NN）集成到多网格网络（MgNet）中，根据 PDE 参数自适应生成平滑器，Meta-MgNet 在收敛速度和泛化能力方面优于监督学习基线方法和经典多网格方法，且对泊松方程保证收敛性。

ABSTRACT

This paper studies numerical solutions for parameterized partial differential equations (P-PDEs) with deep learning (DL). P-PDEs arise in many important application areas and the computational cost using traditional numerical schemes can be exorbitant, especially when the parameters fall into a particular range and the underlying PDE is required to be solved with high accuracy. Recently, solving PDEs with DL has become an emerging field. Existing works demonstrate great potentials of the DL based approach in speeding up numerical solutions of PDEs. However, there is still limited research on the DL approach for P-PDEs. If we directly apply existing supervised learning models to P-PDEs, the models need to be constantly fine-tuned or retrained when the parameters change. This drastically limits the applicability and utility of these models in practice. To resolve this issue, we propose a meta-learning-based method that can efficiently solve P-PDEs with a wide range of parameters without retraining. Our key observation is to regard training a solver for the P-PDE with a given set of parameters as a learning task. Then, training a solver for the P-PDEs with varied parameters can be viewed as a multi-task learning problem, to which meta-learning is one of the most effective approaches. This new perspective can be applied to many existing PDE solvers. As an example, we adopt the Multigrid Network (MgNet) as the base solver. To achieve multi-task learning, we introduce a new hypernetwork, called Meta-NN, in MgNet and refer to the entire network as the Meta-MgNet. Meta-NN takes the differential operators and the right-hand-side of the underlying P-PDEs as inputs and generates appropriate smoothers for MgNet which can significantly affect the convergent speed. Finally, extensive numerical experiments demonstrate that Meta-MgNet is more efficient in solving P-PDEs than the MG methods and MgNet.

研究动机与目标

• 解决传统数值方法在多种参数值下求解参数化 PDE 所带来的高计算成本问题。
• 克服监督学习模型在面对新参数集时需重新训练的局限性。
• 通过将参数化 PDE 求解问题建模为多任务学习问题，开发一种可泛化、对参数鲁棒的 PDE 求解器。
• 将元学习整合到 MgNet 框架中，实现在无需重新训练的情况下快速适应新 PDE 参数。
• 在保持复杂 PDE（如各向异性扩散和 Ossen 方程）高效率的同时，对泊松方程提供理论收敛保证。

提出的方法

• 将求解参数化 PDE 建模为多任务学习问题，其中每个参数集对应一个独立但相关的任务。
• 引入一个超网络 Meta-NN，其输入为 PDE 的微分算子和右端项，用于为 MgNet 框架生成特定于任务的平滑器。
• 将 Meta-NN 嵌入 MgNet 架构中，根据 PDE 的参数化动态调整平滑器参数，实现快速适应。
• 设计 Meta-NN 时施加架构约束，以在标准假设下确保 Meta-MgNet 对泊松方程的理论收敛性。
• 在多样化的 PDE 参数分布上端到端训练 Meta-MgNet，实现对未见参数值的零样本推理。
• 采用标准的多网格插值和限制算子，将元学习创新重点集中于平滑器组件，以提升适应性。

实验结果

研究问题

• RQ1 元学习能否被有效应用于参数化 PDE 求解器，实现在无需重新训练的情况下快速适应新参数？
• RQ2 如何使基于深度学习的多网格框架在广泛 PDE 参数范围内保持鲁棒性和泛化能力，同时维持收敛性保证？
• RQ3 与固定或基于监督学习的平滑器相比，基于超网络的平滑器生成机制在多大程度上提升了收敛速度和解的精度？
• RQ4 Meta-MgNet 在各向异性扩散和 Ossen 方程等复杂 PDE 上，是否在不同参数范围内均保持优越性能？
• RQ5 所提出的框架能否泛化到训练过程中未见过的新 PDE 参数？其在推理效率上与经典多网格方法和监督学习基线相比如何？

主要发现

• Meta-MgNet 的收敛速度优于经典多网格方法和通过监督学习训练的 PDE-MgNet，在 2D 各向异性扩散问题上迭代次数最多减少 30%。
• 对于 Ossen 方程，当 $a_x = a_y = 100$ 时，Meta-MgNet 仅用 235 次迭代在 11.52 秒内完成求解，性能在速度和精度上均优于基线方法。
• Meta-MgNet 在包括极端各向异性和高雷诺数在内的广泛参数范围内表现出一致性能，且无需重新训练。
• 由于 Meta-NN 的设计，Meta-MgNet 对泊松方程实现了保证收敛，确保了平滑器适应的稳定性。
• Meta-MgNet 能够有效泛化到未见过的参数值，无需微调或重新训练，而标准监督模型则不具备此能力。
• Ossen 方程的误差图显示所有测试参数集的残差均保持均匀低水平，证实了方法的鲁棒性和高解保真度。