[论文解读] Challenges in Training PINNs: A Loss Landscape Perspective

Pratik Rathore, Weimu Lei+3 more|arXiv (Cornell University)|Feb 2, 2024

Biomedical and Engineering Education被引用 37

一句话总结

本论文分析了为什么物理信息神经网络（PINN）因解算算子引起的病态损失景观而难以训练，并显示将一阶与二阶优化（Adam+L-BFGS）以及一种新的二阶方法（NysNewton-CG）结合起来能带来显著性能提升，理论和实验支持。

ABSTRACT

This paper explores challenges in training Physics-Informed Neural Networks (PINNs), emphasizing the role of the loss landscape in the training process. We examine difficulties in minimizing the PINN loss function, particularly due to ill-conditioning caused by differential operators in the residual term. We compare gradient-based optimizers Adam, L-BFGS, and their combination Adam+L-BFGS, showing the superiority of Adam+L-BFGS, and introduce a novel second-order optimizer, NysNewton-CG (NNCG), which significantly improves PINN performance. Theoretically, our work elucidates the connection between ill-conditioned differential operators and ill-conditioning in the PINN loss and shows the benefits of combining first- and second-order optimization methods. Our work presents valuable insights and more powerful optimization strategies for training PINNs, which could improve the utility of PINNs for solving difficult partial differential equations.

研究动机与目标

• 研究PINN损失L难以最小化的原因，原因是在残差项中的微分算子引起的病态条件。
• 基于经验比较不同PDE下的Adam、L-BFGS以及Adam+L-BFGS，以识别有效的训练策略。
• 开发并评估一种新颖的二阶优化器（NysNewton-CG）以提升PINN性能。
• 提供理论依据，解释为何将一阶与二阶方法相结合可以加速收敛。
• 证明实现接近零的损失对于获得准确的PINN解至关重要。

提出的方法

• 通过在预条件化前后检验Hessian谱来分析PINN损失景观。
• 比较优化器（Adam、L-BFGS、Adam+L-BFGS）在对流、波动和反应PDEs中，随着网络宽度的变化。
• 引入NysNewton-CG（NNCG），一种 Nyström 预条件共轭梯度法，用于求解牛顿步。
• 在理论上将病态条件的微分算子与PINN损失的病态条件联系起来（非正式的定理8.4）。
• 证明阻尼牛顿阶段可以实现高精度解（算法1 GDND），并解释在NNCG前使用Adam+L-BFGS的理由。

Figure 1: On the wave PDE, Adam converges slowly due to ill-conditioning and the combined Adam+L-BFGS optimizer stalls after about 40000 steps. Running NNCG (our method) after Adam+L-BFGS provides further improvement.

实验结果

研究问题

• RQ1 PINN损失是否因残差项中的微分算子而表现出病态条件？
• RQ2 将一阶和二阶方法结合的优化策略是否优于仅一阶或仅二阶的方法在PINNs上？
• RQ3 一种新颖的二阶方法（NysNewton-CG）是否能显著在准确性上超过Adam+L-BFGS？
• RQ4 预条件化如何影响Hessian谱和PINN训练的收敛速度？
• RQ5 在PINNs中，接近零的训练损失是否是实现低L2相对误差的必要条件？

主要发现

• PINN损失条件不好，具有较大的离群Hessian特征值和在对流、反应和波动PDEs中接近零的特征值集分布显著。
• L-BFGS 预条件将Hessian特征值和条件数在所有问题上至少降低了10^3。
• Adam+L-BFGS在所有网络宽度和PDEs上，始终获得比单独的Adam或L-BFGS更小的最终损失和L2相对误差。
• 在Adam+L-BFGS之后，新的二阶方法NysNewton-CG（NNCG）进一步降低损失和梯度范数，并改善L2相对误差。
• 理论结果表明，病态条件的微分算子会导致PINN损失的病态；将一阶与二阶方法相结合可提高收敛性。
• 阻尼牛顿阶段（GDND）可以实现与条件数无关的快速线性收敛，支持混合优化的实际收益。

Figure 2: We plot the final L2RE against the final loss for each combination of network width, optimization strategy, and random seed. Across all three PDEs, a lower loss generally corresponds to a lower L2RE.