[论文解读] Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating PDEs

Siddhartha Mishra, R. Molinaro|arXiv (Cornell University)|Jun 29, 2020

Model Reduction and Neural Networks被引用 30

一句话总结

论文提供了前向 PDE 问题中 PINN 泛化误差的上界，将误差与训练误差、求积/采样量以及 PDE 稳定性联系起来，并以若干非线性 PDE 的示例及数值实验来说明该框架。

ABSTRACT

Physics informed neural networks (PINNs) have recently been widely used for robust and accurate approximation of PDEs. We provide rigorous upper bounds on the generalization error of PINNs approximating solutions of the forward problem for PDEs. An abstract formalism is introduced and stability properties of the underlying PDE are leveraged to derive an estimate for the generalization error in terms of the training error and number of training samples. This abstract framework is illustrated with several examples of nonlinear PDEs. Numerical experiments, validating the proposed theory, are also presented.

研究动机与目标

• 提出一个一般性的理论框架，以界定求解前向 PDE 的 PINN 的泛化误差。
• 将泛化误差与训练误差、求积（采样）误差以及 PDE 的稳定性特性联系起来。
• 给出具体实例（抛物型、守恒律、欧拉方程）使抽象界限成立并通过数值实验进行验证。
• 阐明通过求积分析和稳定性常数，训练点的数量与选择如何影响误差。

提出的方法

• 给出一个带有 Banach 空间 X 和 Y 的抽象 PDE 设置，以及一个将 X* 映射到 Y* 的微分算子 D，并包含一个稳定性界（H3）的设定。
• 引入一个抽象的 PINN 残差 Rθ(uθ)=D(uθ)−f，以及在求积点上最小化的基于残差的损失。
• 推导泛化误差界（定理 2.6），在对稳定性和求积假设下显示 EG ≤ C_pde ET + C_pde C_quad^(1/p) N^(−α/p)。
• 讨论求积规则（高斯、低离散性、蒙特卡罗）及其收敛率 α，以及它们如何影响 C_quad。
• 给出一个算法框架（Algorithm 2.3），仅从 PDE 残差训练 PINNs，而不需要解数据。
• 解释对随机训练点的扩展以及累积（平均）泛化/训练误差，包括引理 2.10（2.29）。
• 用三个具体的 PDE 示例来说明抽象框架：半线性抛物方程、黏性标量守恒律，以及不可压 Euler 方程，并给出数值实验。

实验结果

研究问题

• RQ1 如何用训练误差和采样来界定前向 PDE 问题的 PINN 泛化误差？
• RQ2 PDE 稳定性和求积精度在控制 PINN 泛化误差中扮演什么角色？
• RQ3 训练点（剖分/对位点）的数量与排布如何影响实际 PDE 设置中的推导误差界？
• RQ4 抽象界限是否适用于半线性抛物方程、黏性守恒律和不可压 Euler 方程等非线性 PDE？并且数值实验是否支持该理论？

主要发现

• 建立了一般化误差界：总误差受训练误差和一个基于求积的项控制，该项随 N 增加并按 α 收敛速率缩放。
• 界限依赖于与 PDE 相关的稳定性常数（C_pde）以及反映残差和神经网络细节的求积常数（C_quad）。
• 框架被用于非线性 PDE，包括半线性抛物方程、黏性标量守恒律和不可压 Euler 方程，并附有数值实验来验证理论。
• 分析将 PINN 中的 PDE 残差最小化与对泛化误差的可证明控制联系起来，基于合理的正则性和稳定性假设。