[论文解读] A Metalearning Approach for Physics-Informed Neural Networks (PINNs): Application to Parameterized PDEs

Michael Penwarden, Shandian Zhe+2 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种元学习方法，通过在多个相关任务间学习最优权重初始化，加速参数化PDE的物理信息神经网络（PINNs）训练。通过利用模型感知的元学习，该方法减少了训练时间并提升了收敛性，在挑战性的参数化区域中，相比随机初始化或中心点初始化，实现了高达60%的L-BFGS优化加速和显著更低的损失。

ABSTRACT

Physics-informed neural networks (PINNs) as a means of discretizing partial differential equations (PDEs) are garnering much attention in the Computational Science and Engineering (CS&E) world. At least two challenges exist for PINNs at present: an understanding of accuracy and convergence characteristics with respect to tunable parameters and identification of optimization strategies that make PINNs as efficient as other computational science tools. The cost of PINNs training remains a major challenge of Physics-informed Machine Learning (PiML) - and, in fact, machine learning (ML) in general. This paper is meant to move towards addressing the latter through the study of PINNs on new tasks, for which parameterized PDEs provides a good testbed application as tasks can be easily defined in this context. Following the ML world, we introduce metalearning of PINNs with application to parameterized PDEs. By introducing metalearning and transfer learning concepts, we can greatly accelerate the PINNs optimization process. We present a survey of model-agnostic metalearning, and then discuss our model-aware metalearning applied to PINNs as well as implementation considerations and algorithmic complexity. We then test our approach on various canonical forward parameterized PDEs that have been presented in the emerging PINNs literature.

研究动机与目标

• 通过减少优化时间，解决训练参数化PDE的PINNs计算成本过高的问题。
• 克服标准PINN训练效率低下的问题，尽管机器学习技术不断进步，其训练速度仍显著慢于传统求解器。
• 开发一种元学习框架，通过在相关PDE任务间迁移知识，提升泛化能力和收敛速度。
• 提供一种理论基础扎实且经实证验证的PINN权重初始化方法，基于元优化的初始化策略。
• 在Adam和L-BFGS优化阶段，证明元学习初始化相比随机初始化、中心点初始化或标准MAML方法的优越性。

提出的方法

• 将模型感知的元学习应用于PINNs，其中元学习器在参数化PDE分布上优化神经网络的初始权重。
• 在一组具有不同参数的PDE实例上进行元训练，以学习一种在各类任务间具有良好泛化能力的共享初始化。
• 在内层循环中利用L-BFGS优化器精炼元学习得到的初始化，从而提升最终解的精度和收敛速度。
• 采用代理建模方法，在多样化的参数化PDE上预训练元初始化，减少对每个新实例进行完整微调的需求。
• 通过使用元学习得到的权重初始化PINNs，而非随机或启发式值（如参数域的中心点），实现迁移学习的整合。
• 使用加权最小二乘法和Fekete点构建高效的元优化训练网格，提升样本效率。

实验结果

研究问题

• RQ1 元学习能否通过学习更优的初始权重分布，降低参数化PDE的PINNs训练成本？
• RQ2 在收敛速度和最终解精度方面，元学习初始化与随机初始化或中心点初始化相比表现如何？
• RQ3 在微调阶段结合高精度优化器（如L-BFGS）时，元学习是否能提升性能？
• RQ4 元学习初始化是否能在包括具有陡峭梯度或高非线性的复杂参数区域中实现良好泛化？
• RQ5 初始化位置（如参数域中心点与随机点）对训练稳定性和收敛时间有何影响？

主要发现

• 与随机初始化相比，元学习初始化使L-BFGS优化时间最多减少60%，在参数域中心点附近优化速度最快。
• 对于Burgers方程，元学习初始化的最终L-BFGS误差为2.9±4.6×10⁻³，优于随机初始化（5.1±6.0×10⁻³）和中心点初始化（6.4±9.1×10⁻³）。
• 在双参数热方程中，中心点（2.0708, 2.0708）的元学习初始化实现了4.6±2.8×10⁻³的最终L-BFGS误差，显著低于随机初始化的5.5±3.7×10⁻³。
• 靠近参数域边界的初始化导致Adam阶段误差更高（如Heat 2中为295.8±24.8×10⁻³）且L-BFGS时间更长（173±63s），表明训练难度增加。
• 该方法在L-BFGS阶段优于标准MAML和Reptile方法，表明直接对权重进行元学习比仅对损失函数进行元学习更有效。
• 参数域中心点被证实是强大且稳定的初始化点，但元学习识别出了整个参数域内更优的初始化，减少了对人工调参的依赖。