[论文解读] Enhanced Physics-Informed Neural Networks with Augmented Lagrangian Relaxation Method (AL-PINNs)

Hwijae Son, Sung Woong Cho+1 more|arXiv (Cornell University)|Apr 29, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出AL-PINNs，一种新颖的物理信息神经网络框架，采用增广拉格朗日松弛法将初值和边界条件作为偏微分方程求解中的约束条件。通过将训练重新表述为约束优化问题，并自适应地更新拉格朗日乘子，AL-PINNs 实现了对真实解的保证收敛，并在赫姆霍兹方程、黏性伯吉斯方程和克莱因-戈登方程中，相对误差显著优于当前最先进的自适应损失平衡方法。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have become a prominent application of deep learning in scientific computation, as they are powerful approximators of solutions to nonlinear partial differential equations (PDEs). There have been numerous attempts to facilitate the training process of PINNs by adjusting the weight of each component of the loss function, called adaptive loss-balancing algorithms. In this paper, we propose an Augmented Lagrangian relaxation method for PINNs (AL-PINNs). We treat the initial and boundary conditions as constraints for the optimization problem of the PDE residual. By employing Augmented Lagrangian relaxation, the constrained optimization problem becomes a sequential max-min problem so that the learnable parameters $λ$ adaptively balance each loss component. Our theoretical analysis reveals that the sequence of minimizers of the proposed loss functions converges to an actual solution for the Helmholtz, viscous Burgers, and Klein--Gordon equations. We demonstrate through various numerical experiments that AL-PINNs yield a much smaller relative error compared with that of state-of-the-art adaptive loss-balancing algorithms.

研究动机与目标

• 开发一种无需依赖经验观察或启发式惩罚参数的通用、保证收敛的损失平衡方法，适用于PINNs。
• 解决现有自适应损失平衡算法存在的梯度不平衡、刚性及收敛性问题。
• 提供一个理论基础坚实的框架，使初值和边界条件在优化过程中被视为约束条件。
• 在多个非线性偏微分方程上，与当前最先进的基线方法相比，证明所提方法的优越性能。

提出的方法

• 将初值和边界条件作为偏微分方程残差优化问题中的约束条件。
• 利用增广拉格朗日方法，将约束优化问题转化为无约束问题。
• 引入可学习的对偶变量（拉格朗日乘子），通过迭代方式自适应地平衡损失分量。
• 推导出一系列损失函数，其极小化点收敛于偏微分方程的真实解。
• 在赫姆霍兹方程、黏性伯吉斯方程和克莱因-戈登方程上应用该方法，并提供严格的理论收敛性证明。
• 利用迹定理和索伯列夫空间嵌入，确保边界和初值条件项的连续性与有界性。

实验结果

研究问题

• RQ1 增广拉格朗日方法能否在理论上为PINNs提供支持，以确保偏微分方程真实解的收敛？
• RQ2 所提出的AL-PINN框架在解的精度和训练稳定性方面是否优于现有的自适应损失平衡算法？
• RQ3 该方法是否能对多种类型的偏微分方程（包括赫姆霍兹方程、黏性伯吉斯方程和克莱因-戈登方程）保持一致的性能表现？
• RQ4 在标准偏微分方程假设下，损失函数极小化点收敛于真实解是否可被证明？
• RQ5 该方法是否能消除PINN训练中通常使用的启发式大惩罚参数？

主要发现

• AL-PINNs 在赫姆霍兹方程、黏性伯吉斯方程和克莱因-戈登方程上，相对误差显著低于当前最先进的自适应损失平衡算法。
• 理论分析证明，所提损失函数序列的极小化点收敛于这三个偏微分方程的真实解。
• 该方法无需事先了解梯度不平衡或解的刚性，即可保证收敛。
• 增广拉格朗日松弛通过可学习的对偶变量实现了损失分量的自适应平衡，消除了对手动超参数调优的需求。
• 数值实验表明，AL-PINNs 在精度和收敛速度方面均优于惩罚法和标准拉格朗日方法。
• 该框架可推广至多种偏微分方程，为PINNs提供一种通用且保证收敛的训练方法。