[论文解读] FO-PINNs: A First-Order formulation for Physics Informed Neural Networks

Rini J. Gladstone, Mohammad A. Nabian+3 more|arXiv (Cornell University)|Oct 25, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

该论文提出了FO-PINNs，一种物理信息神经网络的一阶公式化方法，通过利用自动微分将二阶导数计算替换为一阶导数，从而在求解二阶及以上偏微分方程时提升了精度与训练速度。FO-PINNs相较于标准PINNs，训练速度最快提升2.9倍，验证误差降低一个数量级，尤其在参数化系统中表现优异，同时通过近似距离函数实现了边界条件的精确强制执行。

ABSTRACT

Physics-Informed Neural Networks (PINNs) are a class of deep learning neural networks that learn the response of a physical system without any simulation data, and only by incorporating the governing partial differential equations (PDEs) in their loss function. While PINNs are successfully used for solving forward and inverse problems, their accuracy decreases significantly for parameterized systems. PINNs also have a soft implementation of boundary conditions resulting in boundary conditions not being exactly imposed everywhere on the boundary. With these challenges at hand, we present first-order physics-informed neural networks (FO-PINNs). These are PINNs that are trained using a first-order formulation of the PDE loss function. We show that, compared to standard PINNs, FO-PINNs offer significantly higher accuracy in solving parameterized systems, and reduce time-per-iteration by removing the extra backpropagations needed to compute the second or higher-order derivatives. Additionally, FO-PINNs can enable exact imposition of boundary conditions using approximate distance functions, which pose challenges when applied on high-order PDEs. Through three examples, we demonstrate the advantages of FO-PINNs over standard PINNs in terms of accuracy and training speedup.

研究动机与目标

• 为解决标准PINNs在求解参数化及高阶PDE时精度下降的问题。
• 通过消除PINNs中昂贵的二阶自动微分，降低计算成本。
• 通过近似距离函数实现边界条件的精确强制执行。
• 提升在高维参数空间复杂物理系统中的泛化能力与训练效率。
• 开发一种可扩展的一阶公式化方法，在最小化计算开销的同时保持高精度。

提出的方法

• 仅使用解的一阶导数构建PDE损失函数，避免使用二阶导数。
• 引入网络的额外输出以表示一阶空间导数（如u_x, u_y），用于重构高阶项。
• 通过基于一阶导数一致性的附加损失项，强制实现导数的相容性。
• 在损失函数中使用近似距离函数，精确强制执行狄利克雷边界条件。
• 利用自动混合精度（AMP）训练加速收敛，同时不损失精度。
• 使用结合PDE残差、边界条件与导数相容性约束的物理驱动损失函数进行网络训练。

实验结果

研究问题

• RQ1 FO-PINNs的一阶公式化能否在二阶PDE上实现与标准PINNs相当或更优的精度？
• RQ2 在PINNs中消除二阶导数计算是否能带来可测量的训练加速？
• RQ3 FO-PINNs能否在高阶PDE中通过近似距离函数实现边界条件的精确强制执行，尤其在高阶PDE中？
• RQ4 在参数化PDE问题中，FO-PINNs的性能如何随参数维度增加而扩展？
• RQ5 对于包含多个参数的复杂系统（如纳维-斯托克斯方程），FO-PINNs能否保持高精度？

主要发现

• 由于反向传播开销减少，FO-PINNs相比标准PINNs实现了2.9倍的训练时间加速。
• 在非参数化问题中，FO-PINNs的验证误差相比标准PINNs降低了一个数量级。
• 在最多包含7个参数的参数化系统中，FO-PINNs的精度接近基线（零参数）情况，而标准PINNs则表现出显著的误差退化。
• 在纳维-斯托克斯方程示例中，FO-PINNs对速度和压力的预测误差相比标准PINNs降低了一个数量级。
• FO-PINNs通过近似距离函数实现了边界条件的精确强制执行，这在标准PINNs中极具挑战性。
• 通过在最后输出层仅增加少量输出变量和相容性约束，该方法可推广至高阶PDE。