[论文解读] Error estimates of residual minimization using neural networks for linear PDEs

Yeonjong Shin, Zhongqiang Zhang+1 more|arXiv (Cornell University)|Oct 15, 2020

Model Reduction and Neural Networks参考文献 43被引用 34

一句话总结

论文为线性偏微分方程中基于神经网络的残差最小化建立一个抽象收敛框架，推导强形式和弱形式（PINN 与变分 PINN）的 a priori 与 a posteriori 误差估计，并分析离散与连续损失。

ABSTRACT

We propose an abstract framework for analyzing the convergence of least-squares methods based on residual minimization when feasible solutions are neural networks. With the norm relations and compactness arguments, we derive error estimates for both continuous and discrete formulations of residual minimization in strong and weak forms. The formulations cover recently developed physics-informed neural networks based on strong and variational formulations.

研究动机与目标

• 引入一个抽象框架，以分析神经网络对线性偏微分方程的残差最小化的收敛性。
• 推导连续与离散损失在强形式和弱形式下的 a priori 与 a posteriori 误差估计。
• 在适当假设下展示收敛性，并将其与 PINN 和 hp-VPINN 变体联系起来。
• 用椭圆、对流–反应和分数扩散等示例问题验证理论假设。

提出的方法

• 将线性问题 A[u]=f、B[u]=g 表述为范数关系 C1 和 C2，并在 Assumption 3 下建立存在性/唯一性。
• 提出四种损失泛函：离散 RM、连续 RM、离散 hp-VRM 和连续 hp-VRM。
• 证明连续 RM 的误差估计和收敛性结果（定理 9 和 10），并将其与神经网络的通用逼近（Assumption 2.3）联系起来。
• 推导 a priori 和 a posteriori 的误差界（如定理 9、式（7）-式（10）），并讨论离散化对收敛性的影响。
• 讨论兼容性/离散化假设并给出验证框架的示例。

实验结果

研究问题

• RQ1 哪些条件确保基于神经网络的残差最小化解对真实 PDE 解的收敛？
• RQ2 连续与离散、强残差与弱残差如何影响误差界与收敛性？
• RQ3 为实现收敛，需要哪些神经网络逼近属性（通用逼近、范数关系）？
• RQ4 损失的离散化如何影响收敛性，哪些假设能够保证？

主要发现

• 建立了一个抽象框架，将图形范数稳定性与通用逼近性联系起来以导出收敛性结果。
• 给出 a posteriori 误差估计： ||u_N,n^τ - u*||_V ≤ C1^{-1} 2^{(p-1)/p} (J_τ(u_N,n^τ))^{1/p} for τ ≥ 1。
• 给出包含最佳神经网络逼近误差加数据逼近项的 a priori 误差界。
• 证明连续 RM 的收敛性：在所述假设下，当 n → ∞ 时 u_N,n^τ → u* in V（定理 10）。
• 强调离散化兼容性的重要作用，并展示在不具备适当假设时可能失败的情形（示例 4）。