[论文解读] Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating a class of inverse problems for PDEs

Siddhartha Mishra, R. Molinaro|arXiv (Cornell University)|Jun 29, 2020

Model Reduction and Neural Networks被引用 9

一句话总结

本文首次为求解偏微分方程（PDE）中数据同化或唯一延拓问题的物理信息神经网络（PINNs）提供了严格的泛化误差理论边界。通过利用底层反问题的条件稳定性估计与求积误差分析，作者推导出泛化误差的上界，该上界以训练误差表示，为PINNs在反PDE问题中经验成功的理论依据提供了支持。

ABSTRACT

Physics informed neural networks (PINNs) have recently been very successfully applied for efficiently approximating inverse problems for PDEs. We focus on a particular class of inverse problems, the so-called data assimilation or unique continuation problems, and prove rigorous estimates on the generalization error of PINNs approximating them. An abstract framework is presented and conditional stability estimates for the underlying inverse problem are employed to derive the estimate on the PINN generalization error, providing rigorous justification for the use of PINNs in this context. The abstract framework is illustrated with examples of four prototypical linear PDEs. Numerical experiments, validating the proposed theory, are also presented.

研究动机与目标

• 为PINNs在求解PDE反问题（特别是数据同化或唯一延拓问题）中的应用提供严格的理论基础。
• 通过连接底层PDE反问题的稳定性特性与神经网络近似误差，推导PINNs的泛化误差估计。
• 建立一个适用于一类线性PDE的通用抽象框架，实现与具体PDE结构无关的误差边界。
• 通过典型线性PDE的数值实验验证理论结果，包括泊松方程和热方程。
• 展示PINNs在高维设置和含噪声数据下的鲁棒性，同时保持极低的代码复杂度。

提出的方法

• 基于底层PDE系统的条件稳定性估计，构建了一个分析PINNs反问题泛化误差的抽象框架。
• 结合反问题的条件稳定性估计与配点处的求积误差估计，对泛化误差进行上界估计。
• 采用训练误差作为误差界中的代理变量，遵循标准机器学习实践，该边界表明低训练误差意味着低泛化误差。
• 将该方法应用于四个典型线性PDE：泊松方程、热方程、对流-扩散方程和亥姆霍兹方程，以展示框架的普适性。
• 通过随机采样的训练点进行数值实验，以验证理论误差边界，并评估不同PDE和维度下的性能表现。
• 将框架扩展至含噪声数据场景，表明小幅度噪声不会显著影响误差边界，并通过数值实验加以验证。

实验结果

研究问题

• RQ1 能否为求解PDE反问题（特别是数据同化问题）的PINNs推导出严格的泛化误差边界？
• RQ2 底层PDE反问题的条件稳定性估计在多大程度上影响PINNs的泛化误差？
• RQ3 在非凸优化景观下，训练误差在多大程度上可作为泛化误差的可靠代理？
• RQ4 PINNs在高维PDE问题中的表现如何？该方法是否能避免维度灾难？
• RQ5 该理论框架能否扩展至处理含噪声观测和非线性PDE（如纳维-斯托克斯方程）？

主要发现

• 本文为PINNs在反PDE问题中的泛化误差建立了一个依赖于训练误差和条件稳定性估计的误差边界，首次在该背景下提供了严格的理论依据。
• 该误差边界通过结合反问题的条件稳定性估计与求积误差分析推导得出，表明训练良好的PINNs具有良好的泛化能力。
• 数值实验验证了理论预测，显示PINNs在细网格上的精度可与稳定化有限元方法相媲美，但实现复杂度显著更低。
• PINNs在高维问题中表现出鲁棒性能，例如在高达100个空间维度的热方程中，未出现维度灾难现象。
• 在含噪声数据条件下，该方法依然有效，数值结果验证了理论框架向小振幅噪声的扩展，表明其在真实世界场景中的实际适用性。
• 该框架可扩展至其他线性PDE（如麦克斯韦方程和亥姆霍兹方程），前提是存在相应的条件稳定性估计；未来工作将致力于处理非线性PDE和贝叶斯形式化。