[论文解读] Generic bounds on the approximation error for physics-informed (and) operator learning

Tim De Ryck, Siddhartha Mishra|arXiv (Cornell University)|May 23, 2022

Model Reduction and Neural Networks被引用 29

一句话总结

本文提出一个通用框架，在 PINNs 与算子学习架构（DeepONets 和 FNOs）的近似误差上推导严格界限，包括物理信息变体，并显示在某些光滑性假设下它们可以克服维度灾难。

ABSTRACT

We propose a very general framework for deriving rigorous bounds on the approximation error for physics-informed neural networks (PINNs) and operator learning architectures such as DeepONets and FNOs as well as for physics-informed operator learning. These bounds guarantee that PINNs and (physics-informed) DeepONets or FNOs will efficiently approximate the underlying solution or solution operator of generic partial differential equations (PDEs). Our framework utilizes existing neural network approximation results to obtain bounds on more involved learning architectures for PDEs. We illustrate the general framework by deriving the first rigorous bounds on the approximation error of physics-informed operator learning and by showing that PINNs (and physics-informed DeepONets and FNOs) mitigate the curse of dimensionality in approximating nonlinear parabolic PDEs.

研究动机与目标

• 为在 PDE 场景中对 PINNs 和算子学习架构的近似误差建立并形式化一个通用框架，以提供理论支撑。
• 在神经网络、时空网与物理信息变体之间桥接误差估计，以获得统一的保证。
• 推导物理信息算子学习的首批严格界限，并在光滑性假设下证明维度无关的收敛性。
• 说明现有神经网络逼近结果如何为复杂 PDE 学习架构提供界限。

提出的方法

• 建立一个通用假设框架（Assumption 3.1），将可求解的 PDE 解与可高效逼近的神经 surrogate 及受控范数联系起来。
• 开发误差传递技巧，展示固定时间 NN 近似的裕度估计如何推广到时空网、PINNs 与物理信息算子学习器（定理 3.5–3.10）。
• 利用时间离散的泰勒展开和空间导数的有限差分近似来界定时空近似误差（定理 3.5）。
• 利用已知的 Fourier 形算子（FNOs）与 DeepONets 的联系来推导通用的算子学习界限（定理 3.7 和推论 3.8）。
• 施加稳定性条件（Assumption 3.6）以获得通过 FNOs/DeepONets 逼近的算子之 L2/L∞ 误差界限（定理 3.7）。
• 给出一个后验的一般化界限（定理 3.11），并展示训练规模如何与架构复杂度相互作用。

实验结果

研究问题

• RQ1 一个统一框架是否能够对 PINNs 与算子学习模型（DeepONets 和 FNOs）在广泛的 PDE 类别中给出严格、普适的近似误差界限？
• RQ2 物理信息变体的算子学习（类似 PINN 的 DeepONets/FNOs）是否具有与数据驱动对手相同的近似阶且能否缓解维度灾难？
• RQ3 如何将已知的神经网络近似结果转移到时空网络和物理信息算子上，以获得高效的、维度独立的收敛？
• RQ4 在何种条件（光滑性、稳定性和边界假设）下可以保证 PINNs 和物理信息算子学习的维度独立收敛速率？
• RQ5 在学习理论意义上的一般化保证（事后界）是什么？

主要发现

• 作者给出了物理信息算子学习（PINN-DeepONet/FNO 变体）的首批严格界限。
• 他们证明在某些正则性条件下，时空 PINNs 与物理信息算子在维度不一定指数级增长的前提下仍可实现逼近误差（维度无关性）。
• 若固定时间的神经网络能够高效逼近 PDE 解，则时空网络和算子学习代理可以继承高效的近似性质（定理 3.5）。
• 推导出一个对 FNO 的普遍误差界限，并通过已知的 DeepONet-FNO 关系导出相应的 DeepONet 界限（定理 3.7 和推论 3.8）。
• 给出一个后验的一般化误差界限，表明在标准条件下，期望的一般化误差可以被训练误差和一个与复杂度相关的项控制（定理 3.11）。
• 应用包括显示 PINNs 对非线性抛物型 PDE（如 Allen–Cahn）克服维度灾难，以及物理信息算子学习的维度独立收敛性（第4节）。