[论文解读] Finite element interpolated neural networks for solving forward and inverse problems

Santiago Badia, Wei Li+1 more|arXiv (Cornell University)|Jun 9, 2023

Model Reduction and Neural Networks参考文献 50被引用 4

一句话总结

本文提出有限元插值神经网络（FEINNs），一种将神经网络嵌入有限元空间以求解前向和逆向PDE问题的新框架。通过有限元插值强制施加边界条件，并结合预条件范数的变分残差最小化，FEINNs在收敛性和泛化能力方面表现优异，显著优于标准FEM和基于PINN的方法，尤其在光滑问题和复杂几何中表现更优。

ABSTRACT

We propose a general framework for solving forward and inverse problems constrained by partial differential equations, where we interpolate neural networks onto finite element spaces to represent the (partial) unknowns. The framework overcomes the challenges related to the imposition of boundary conditions, the choice of collocation points in physics-informed neural networks, and the integration of variational physics-informed neural networks. A numerical experiment set confirms the framework's capability of handling various forward and inverse problems. In particular, the trained neural network generalises well for smooth problems, beating finite element solutions by some orders of magnitude. We finally propose an effective one-loop solver with an initial data fitting step (to obtain a cheap initialisation) to solve inverse problems.

研究动机与目标

• 解决物理信息神经网络（PINNs）的局限性，如收敛性差、边界条件强制困难以及数值积分误差。
• 通过将非凸、非线性神经网络嵌入满足相容性的有限元空间，克服其在PDE求解中的训练挑战。
• 开发一种稳健的单循环求解器用于逆问题，通过联合学习状态变量与参数，避免重复求解前向问题。
• 在无需调节正则化参数的前提下，实现对含噪声或部分观测的PDE约束逆问题的精确且稳定求解。
• 在光滑区域中，相比传统FEM和现有PINN变体，展现出更优的泛化能力与收敛速率。

提出的方法

• 通过节点插值将训练好的神经网络映射到相容的有限元空间，利用标准有限元偏移函数确保强形式施加狄利克雷边界条件。
• 将损失函数表述为有限元残差的L2范数（或其他范数），通过在网格上精确积分计算。
• 应用标准有限元预条件器（如几何多重网格循环）以稳定损失景观，并在h→0极限下加速收敛。
• 采用三步训练策略：(1) 仅数据拟合（无微分算子），(2) 数据拟合并引入残差项，(3) 全耦合最小化，以提供高质量初始化。
• 通过神经网络参数化未知模型参数（如扩散系数），并将其同样插值到有限元空间，以实现一致的变分公式。
• 在损失函数中联合结合数据拟合项与PDE残差惩罚项，实现在单个训练循环中同时优化状态变量与参数。

((a))

实验结果

研究问题

• RQ1 嵌入有限元空间的神经网络是否在光滑PDE解的收敛性与泛化能力方面优于标准FEM和非插值PINN方法？
• RQ2 通过有限元插值强制边界条件的方法，在精度与稳定性方面相较于基于配点的PINN方法有何差异？
• RQ3 采用初始数据拟合的单循环训练策略是否能在无需伴随求解的情况下提升逆问题的收敛性与鲁棒性？
• RQ4 残差范数的选择与预条件处理如何影响FEINNs的训练收敛性与解的精度？
• RQ5 FEINNs在处理复杂几何与非齐次狄利克雷边界条件方面是否比标准PINNs或IVPINNs更具优势？

主要发现

• 在光滑问题中，FEINNs的泛化能力显著优于标准FEM和未插值的PINN解，性能提升达数个数量级。
• 在对流-扩散-反应问题中，FEINNs在高分辨率和高阶多项式下仍能收敛至FEM误差水平，而IVPINNs在此条件下无法收敛。
• 采用初始数据拟合的三步训练策略可显著加快收敛速度并提升鲁棒性，尤其在存在部分或噪声观测的逆问题中表现更优。
• FEINNs无需正则化调参即可保持鲁棒性，而基于伴随的神经网络方法则高度依赖正则化以维持性能。
• 在非平凡几何中，FEINNs在处理狄利克雷边界条件与复杂区域方面优于PINNs与IVPINNs，后者在边界强制方面表现困难。
• 采用预条件残差范数（如GMG循环）可加速训练并改善收敛性，使损失函数在h→0极限下保持适定。

((b))