[論文レビュー] Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating PDEs

Siddhartha Mishra, R. Molinaro|arXiv (Cornell University)|Jun 29, 2020

Model Reduction and Neural Networks被引用数 30

ひとこと要約

本論文は、前向き PDE 問題に対する PINNs の一般化誤差の上界を提供し、誤差を訓練誤差、quadrature/sample サイズ、および PDE の安定性に結びつけ、いくつかの非線形 PDE の例と数値実験とともにフレームワークを示します。

ABSTRACT

Physics informed neural networks (PINNs) have recently been widely used for robust and accurate approximation of PDEs. We provide rigorous upper bounds on the generalization error of PINNs approximating solutions of the forward problem for PDEs. An abstract formalism is introduced and stability properties of the underlying PDE are leveraged to derive an estimate for the generalization error in terms of the training error and number of training samples. This abstract framework is illustrated with several examples of nonlinear PDEs. Numerical experiments, validating the proposed theory, are also presented.

研究の動機と目的

• 一般論として、前向き PDE を解く PINN の一般化誤差を境界付けるための一般的な理論的フレームワークを開発する。
• 一般化誤差を訓練誤差、quadrature（サンプリング）誤差、そして PDE の安定性特性と関連付ける。
• 抽象的な境界が適用される具体的な例（拡散型、保存則、オイラー方程式）を提供し、数値実験で検証する。
• 訓練点の数と選択が、quadrature 分析と安定性定数を通じて誤差にどのように影響するかを明確にする。

提案手法

• バナッハ空間 X と Y、D が X* から Y* への微分作用素という抽象的 PDE 設定を定式化し、安定性境界（H3）を含む。
• 抽象的な PINN 残差 Rθ(uθ)=D(uθ)−f および quadrature 点上で最小化される残差ベースの損失を導入する。
• 安定性および quadrature の仮定の下で、EG ≤ C_pde ET + C_pde C_quad^(1/p) N^(−α/p) を示す一般化誤差界を導出する（定理 2.6）。
• ガウス、低離散、モンテカルロなどの象限法と、それらの収束速度 α が C_quad にどのように影響するかを論じる。
• PDE 残差のみに基づく PINN の訓練を、解データを必要とせずに行うアルゴリズム的枠組み（Algorithm 2.3）を提示する。
• ランダムな訓練点や累積（平均）一般化/訓練誤差を含む拡張を説明し、補題 2.10（2.29）を含む。
• 抽象的枠組みを三つの具体的 PDE 例（半線形拡散方程式、粘性スカラー保存則、不可压 Euler 方程式）と数値実験で illustrate する。

実験結果

リサーチクエスチョン

• RQ1 前向き PDE 問題に対する PINN の一般化誤差を、訓練誤差とサンプリングの観点からどのように境界付けられるか。
• RQ2 PDE の安定性と quadrature の精度が、PINN の一般化誤差の制御にどのような役割を果たすか。
• RQ3 訓練点（ collocation 点）の数と配置が、実用的な PDE 設定で導出される誤差界にどのように影響するか。
• RQ4 抽象的な界が、半線形拡散方程式、粘性保存則、不可压 Euler 方程式などの非線形 PDE に適用可能か、そして数値実験が理論を裏付けるか。

主な発見

• 一般化誤差の境界が確立されている：総誤差は訓練誤差と、N および quadrature 速度 α にスケールする quadrature ベースの項で制御される。
• 境界は PDE に関連する安定性定数（C_pde）と、残差およびニューラルネットワークの詳細を反映する quadrature 定数（C_quad）に依存する。
• 非線形 PDE に対して、このフレームワークを具体化し、半線形拡散方程式、粘性スカラー保存則、不可压 Euler 方程式を含む数値実験で理論を検証する。
• 解析は、PINN における PDE 残差最小化を一般化誤差の被覆可能な制御と結びつけ、 reasonable な正則性と安定性仮定の下で理論を提供する。