[论文解读] Recipes for when Physics Fails: Recovering Robust Learning of Physics Informed Neural Networks

Chandrajit Bajaj, Luke McLennan+2 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出高斯过程（GP）平滑的物理信息神经网络（PINNs），以提升在求解偏微分方程（PDEs）时对噪声训练数据的鲁棒性。通过高斯过程回归对边界数据进行平滑，并利用稀疏诱导点，该方法减少了误差传播，保留了激波等尖锐特征，并实现了不确定性量化——在薛定谔方程和伯吉斯方程的基准测试中，优于标准PINNs及物理正则化变体。

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown to be effective in solving partial differential equations by capturing the physics induced constraints as a part of the training loss function. This paper shows that a PINN can be sensitive to errors in training data and overfit itself in dynamically propagating these errors over the domain of the solution of the PDE. It also shows how physical regularizations based on continuity criteria and conservation laws fail to address this issue and rather introduce problems of their own causing the deep network to converge to a physics-obeying local minimum instead of the global minimum. We introduce Gaussian Process (GP) based smoothing that recovers the performance of a PINN and promises a robust architecture against noise/errors in measurements. Additionally, we illustrate an inexpensive method of quantifying the evolution of uncertainty based on the variance estimation of GPs on boundary data. Robust PINN performance is also shown to be achievable by choice of sparse sets of inducing points based on sparsely induced GPs. We demonstrate the performance of our proposed methods and compare the results from existing benchmark models in literature for time-dependent Schrödinger and Burgers' equations.

研究动机与目标

• 研究标准PINNs对噪声边界数据的敏感性及其在测量误差下泛化能力的缺失。
• 分析基于物理的正则化（如连续性与守恒定律）在防止PINNs中误差传播方面的局限性。
• 开发一种鲁棒的PINN架构，通过基于高斯过程的噪声训练数据平滑，减轻误差放大。
• 通过边界数据上高斯过程先验的方差估计，实现在PINN预测中的不确定性量化。
• 在稀疏高斯过程框架中使用稀疏诱导点，降低GP集成在PINNs中的计算成本。

提出的方法

• 在将数据输入PINN前，应用高斯过程回归对噪声初始条件数据进行平滑，以减少高频噪声和不稳定性。
• 采用精心选择的诱导点的稀疏高斯过程公式，降低计算成本，同时保持预测准确性。
• 将GP平滑后的边界数据集成到PINN损失函数中，通过PDE残差最小化保持物理约束。
• 利用边界数据上GP模型的预测方差，估计PINN预测中的不确定性。
• 在具有噪声初始条件的时间依赖PDE上（包括非线性薛定谔方程和伯吉斯方程）训练并评估GP平滑PINN。
• 通过定量误差指标和解的保真度视觉分析，与标准PINNs、cPINNs及其他正则化架构进行性能对比。

实验结果

研究问题

• RQ1 边界数据中的噪声如何影响标准PINNs在求解时间依赖PDE时的泛化能力和解的保真度？
• RQ2 为何基于物理的正则化（如连续性与守恒定律）在噪声PINN训练中无法提升鲁棒性？
• RQ3 基于高斯过程的噪声边界数据平滑能否恢复解的准确性并减少PINNs中的误差传播？
• RQ4 通过GP方差估计实现的不确定性量化如何提升在噪声数据下的PINN预测置信度？
• RQ5 稀疏高斯过程近似能否在保持性能的同时降低GP平滑PINNs中的计算成本？

主要发现

• 在噪声初始数据上训练的原始PINNs无法恢复伯吉斯方程中的尖锐特征（如激波），误差传播随时间扭曲了解。
• 基于物理的正则化（如cPINNs中的方法）无法防止对噪声数据的过拟合，反而使网络收敛到违反真实物理解的局部最小值。
• GP平滑PINNs即使在高噪声（σ=0.5）下，也能成功恢复初始条件并保持二维伯吉斯方程中激波结构的完整性，优于标准PINN和cPINN模型。
• 稀疏GP变体（SGP-PINN）在显著降低计算成本的同时，实现了与全GP-PINN相当的性能，实现了可扩展的不确定性感知PDE求解。
• GP模型的预测方差提供了可靠的不确定性度量，其在尖锐梯度区域附近表现出更高方差，表明这些区域具有更高的预测风险。
• 核函数选择与诱导点位置对模型性能具有决定性影响，均匀采样会低估尖锐梯度，导致激波前沿区域出现过度平滑。