[论文解读] Improving physics-informed neural networks with meta-learned optimization

Alex Bihlo|arXiv (Cornell University)|Mar 13, 2023

Model Reduction and Neural Networks被引用 11

一句话总结

该论文表明元学习优化器可以在多个偏微分方程（PDE）中显著降低物理信息神经网络（PINN）的训练误差和时间，并展示了方程类别之间的迁移学习。

ABSTRACT

We show that the error achievable using physics-informed neural networks for solving systems of differential equations can be substantially reduced when these networks are trained using meta-learned optimization methods rather than to using fixed, hand-crafted optimizers as traditionally done. We choose a learnable optimization method based on a shallow multi-layer perceptron that is meta-trained for specific classes of differential equations. We illustrate meta-trained optimizers for several equations of practical relevance in mathematical physics, including the linear advection equation, Poisson's equation, the Korteweg--de Vries equation and Burgers' equation. We also illustrate that meta-learned optimizers exhibit transfer learning abilities, in that a meta-trained optimizer on one differential equation can also be successfully deployed on another differential equation.

研究动机与目标

• 调查元学习优化是否能在与固定优化器如 Adam 相比下降低 PINN 的训练误差。
• 评估在 PDE 类上训练的可学习优化器在求解经典方程方面的性能。
• 评估元学习优化器在不同微分方程之间的迁移学习能力。
• 在具有代表性的物理问题上展示改进：线性对流、Poisson、KdV 和 Burgers 方程。

提出的方法

• 使用基于具有 2 个隐藏层的 MLP 的可学习优化器来更新神经网络权重，参数量为 2,115。
• 在狭窄的 PDE 任务类别上进行元训练，以产生与下降规则兼容的更新（Eq. 3–4）。
• 实现将名义上的 Ada m 类项与黑箱项相结合的更新规则，以确保下降（Eq. 4）。
• 元优化器的输入包括当前权重、梯度、二阶矩累积量和时间步特征，均已归一化。
• 使用持续的进化策略（N=2, K=1, alpha=1e-4）和每个问题 20 个任务，使用元优化器对 PINN 进行训练。
• 在多种 PDE（线性对流、Poisson、KdV、Burgers）下对比标准的 Adam。

实验结果

研究问题

• RQ1 元学习优化是否在标准 PDE 下相对于 Adam 降低 PINN 的训练损失与解的误差？
• RQ2 在同一类别内和跨不同方程类别之间，元训练优化器是否可以迁移？
• RQ3 使用元学习优化器训练的 PINN 在达到目标精度时的加速速度如何？
• RQ4 当 PDE 类内初始条件改变或切换方程类型（如从对流切换到 Burgers）时，迁移学习的表现如何？

主要发现

• 元学习优化器在所测试的方程中显著优于 Adam 的 PINN 训练。
• 对于线性对流问题，元学习模型的训练损失和点误差比 Adam 小出不少，达到超过 10x 的改进。
• 对于 Poisson、KdV 和 Burgers 方程，元学习模型在训练早期就能达到比 Adam 更低的损失和更小的误差，且常达到可比或更好的精度。
• 展示了迁移学习：在一个方程（如线性对流）上元训练的优化器可改进 Burgers 方程的训练，且在 Burgers 上训练的优化器可以超越 Adam。
• 在某些情况下，在较简单方程上训练的元学习优化器在达到最终损失时比在更长训练后得到的 Adam 的最终损失更低，表明潜在的加速。
• 所使用的优化器较轻量（PINN 的参数<10k；元优化器 2,115 参数），元训练成本通过在 PINN 训练中的收益得到抵消。