[论文解读] Investigating and Mitigating Failure Modes in Physics-informed Neural Networks (PINNs)

Shamsulhaq Basir|arXiv (Cornell University)|Sep 20, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种物理信息神经网络（PINN）框架，通过辅助变量对高阶导数进行预处理，并引入基于自适应拉格朗日乘子的双重无约束公式，有效缓解了求解PDE时的失败模式。该方法在显著减少采样点数量的前提下，相比最先进PINN方法实现了数量级级别的精度提升，能够稳健学习非光滑解和复杂几何结构，且无需手动调整超参数。

ABSTRACT

This paper explores the difficulties in solving partial differential equations (PDEs) using physics-informed neural networks (PINNs). PINNs use physics as a regularization term in the objective function. However, a drawback of this approach is the requirement for manual hyperparameter tuning, making it impractical in the absence of validation data or prior knowledge of the solution. Our investigations of the loss landscapes and backpropagated gradients in the presence of physics reveal that existing methods produce non-convex loss landscapes that are hard to navigate. Our findings demonstrate that high-order PDEs contaminate backpropagated gradients and hinder convergence. To address these challenges, we introduce a novel method that bypasses the calculation of high-order derivative operators and mitigates the contamination of backpropagated gradients. Consequently, we reduce the dimension of the search space and make learning PDEs with non-smooth solutions feasible. Our method also provides a mechanism to focus on complex regions of the domain. Besides, we present a dual unconstrained formulation based on Lagrange multiplier method to enforce equality constraints on the model's prediction, with adaptive and independent learning rates inspired by adaptive subgradient methods. We apply our approach to solve various linear and non-linear PDEs.

研究动机与目标

• 研究并诊断在缺乏验证数据或先验解知识的情况下，物理信息神经网络（PINNs）在求解偏微分方程（PDEs）时的失败模式。
• 分析高阶PDE如何污染反向传播的梯度，放大噪声并阻碍训练过程中的收敛。
• 开发一种无网格、几何不变的方法，严格强制边界条件和守恒律，且无需手动调整超参数。
• 通过辅助变量预处理降低搜索空间维度，实现对具有非光滑解的PDE的有效学习。
• 提出一种基于拉格朗日乘子法的自适应、双重无约束公式，采用独立学习率，受自适应子梯度方法的启发。

提出的方法

• 提出一种预处理策略，用辅助变量替代高阶导数的计算，降低梯度污染，提升优化稳定性。
• 采用源自拉格朗日乘子法的双重无约束公式，将约束优化问题转化为具有自适应学习率的无约束问题。
• 使用Sobol序列采样在域内及边界上生成稀疏且均匀的采样点，最大限度减少数据需求。
• 应用L-BFGS优化器结合强Wolfe线搜索，提升在高维非凸损失曲面中的收敛性能。
• 构建最大似然估计框架，无缝集成噪声测量数据，同时严格强制执行边界条件和物理约束。
• 使用单一神经网络同时学习主变量和辅助变量，促进共享隐层表征，降低过拟合风险。

实验结果

研究问题

• RQ1 高阶PDE如何影响PINNs中的梯度流动和损失曲面？早期训练阶段的收敛失败由何原因引起？
• RQ2 高阶导数引起的梯度污染在多大程度上损害了PINN解的泛化能力和精度？
• RQ3 具有自适应学习率的双重无约束公式是否能在无需手动调整超参数的情况下提升PINN的收敛性和解的精度？
• RQ4 辅助变量预处理策略在降低搜索空间维度及实现非光滑PDE解学习方面的有效性如何？
• RQ5 所提方法是否能在远少于现有PINN方法的采样点数量下实现最先进精度？

主要发现

• 在Helmholtz方程上，该方法实现了 $2.77 \times 10^{-4} \pm 9.15 \times 10^{-5}$ 的相对误差，相比文献[22]的误差水平降低两个数量级。
• 该方法将采样点数量减少至文献[22]的0.01%，同时保持了更优的精度。
• 由于早期预测中的噪声，高阶PDE中的反向传播梯度被放大数个数量级，而所提方法有效缓解了这一问题。
• 在扰动下，网络参数分布保持稳定，但标准PINNs中的梯度显著增加——表明其优化过程存在不稳定性。
• 采用自适应对偶公式的PECANN模型在多次试验中均表现出一致的收敛性和高精度，即使在稀疏采样和非光滑解的情况下亦然。
• 该方法无需手动调参即可严格强制执行边界条件和守恒律，适用于反演和前向PDE问题。