[论文解读] A mixed formulation for physics-informed neural networks as a potential solver for engineering problems in heterogeneous domains: comparison with finite element method

Shahed Rezaei, Ali Harandi+3 more|arXiv (Cornell University)|Jun 27, 2022

Model Reduction and Neural Networks参考文献 63被引用 164

一句话总结

本论文提出了一种物理信息神经网络（PINNs）的混合格式，通过独立的神经网络分别预测主变量及其空间梯度，利用强形式偏微分方程（PDE）和仅含一阶导数的能量约束来强制执行物理定律。该方法在异质域中的弹性力学与泊松问题求解中实现了与有限元法（FEM）相当的精度，展示了PINNs作为无网格、无数据的复杂工程问题求解器的潜力。

ABSTRACT

Physics-informed neural networks (PINNs) are capable of finding the solution for a given boundary value problem. We employ several ideas from the finite element method (FEM) to enhance the performance of existing PINNs in engineering problems. The main contribution of the current work is to promote using the spatial gradient of the primary variable as an output from separated neural networks. Later on, the strong form which has a higher order of derivatives is applied to the spatial gradients of the primary variable as the physical constraint. In addition, the so-called energy form of the problem is applied to the primary variable as an additional constraint for training. The proposed approach only required up to first-order derivatives to construct the physical loss functions. We discuss why this point is beneficial through various comparisons between different models. The mixed formulation-based PINNs and FE methods share some similarities. While the former minimizes the PDE and its energy form at given collocation points utilizing a complex nonlinear interpolation through a neural network, the latter does the same at element nodes with the help of shape functions. We focus on heterogeneous solids to show the capability of deep learning for predicting the solution in a complex environment under different boundary conditions. The performance of the proposed PINN model is checked against the solution from FEM on two prototype problems: elasticity and the Poisson equation (steady-state diffusion problem). We concluded that by properly designing the network architecture in PINN, the deep learning model has the potential to solve the unknowns in a heterogeneous domain without any available initial data from other sources. Finally, discussions are provided on the combination of PINN and FEM for a fast and accurate design of composite materials in future developments.

研究动机与目标

• 提升物理信息神经网络（PINNs）在异质域中求解边值问题的性能。
• 通过引入主变量与梯度的独立网络构成混合格式，减少损失函数中对高阶导数的依赖。
• 通过同时引入PDE的强形式与能量泛函作为损失项，提升物理一致性和收敛性。
• 在弹性力学与泊松问题的基准测试中，将所提出的混合PINN方法与有限元法（FEM）进行直接比较。
• 探索使用PINNs作为无网格、无监督的FEM替代方案，在无需先验数据的情况下求解复杂工程问题的可行性。

提出的方法

• 训练两个独立的神经网络：一个用于主变量（如位移或温度），另一个用于其空间梯度（如应变或通量）。
• 利用自动微分计算二阶导数，在梯度网络上强制施加PDE的强形式（如平衡方程或力平衡）。
• 引入能量泛函（如总势能或耗散能）作为附加损失项，以提升稳定性和精度。
• 将总损失函数构建为加权和：(1) 强形式残差，(2) 边界条件（狄利克雷与诺伊曼条件），(3) 能量泛函，以及(4) 界面处的连续性约束。
• 在域与边界上使用配点评估损失项，通过Adam优化器进行优化。
• 为确保与标准PINNs的公平比较，采用相同的网络架构（4个隐层，每层20个神经元，tanh激活函数）与超参数（初始学习率 = 0.001）。

实验结果

研究问题

• RQ1 在异质固体力学问题中，采用主变量与梯度的独立网络构成的混合格式是否能提升PINN的性能？
• RQ2 仅在损失函数中使用一阶导数是否相比依赖高阶导数的标准PINNs具有更好的收敛性与精度？
• RQ3 在弹性力学与稳态扩散问题中，所提出的混合PINN在精度与收敛速度方面与有限元法（FEM）相比如何？
• RQ4 将能量泛函作为损失项在多大程度上提升了PINN解的物理一致性和稳定性？
• RQ5 所提出的PINN框架是否能够在无需标注数据或先验模拟的情况下求解异质域中的复杂边值问题？

主要发现

• 所提出的混合PINN格式，即使用独立网络分别预测主变量及其梯度，在求解二阶常微分方程（ODE）时，其平均绝对误差（MAE）显著低于标准PINNs。
• 在配点数与训练轮数相同的情况下，仅使用一阶导数的一阶ODE格式产生的MAE低于使用二阶导数的二阶ODE格式，表明其具有更高的稳定性和精度。
• 将配点数从10增加到100后，预测结果的标准差降低，收敛性改善，且一阶ODE格式在配点数超过100后预测方差可忽略不计。
• 所提出的混合PINN在异质域中的弹性力学与泊松方程问题上，实现了与有限元法（FEM）相当的求解精度。
• 基于能量的损失项显著提升了物理一致性，尤其在材料界面不连续或边界条件复杂区域表现更优。
• 该方法在训练域外表现出稳健的外推能力，即使在定义域[0,10]之外的x = 15处，预测结果仍与真实解保持接近。