[論文レビュー] Generic bounds on the approximation error for physics-informed (and) operator learning

Tim De Ryck, Siddhartha Mishra|arXiv (Cornell University)|May 23, 2022

Model Reduction and Neural Networks被引用数 29

ひとこと要約

この論文は、PINNと演算子学習アーキテクチャ（DeepONetsとFNOs）、および物理情報を組み込んだ変種を含む近似誤差の厳密な境界を導く一般的な枠組みを提示し、特定の滑らかさ仮定の下で次元の呪いを克服できることを示します。

ABSTRACT

We propose a very general framework for deriving rigorous bounds on the approximation error for physics-informed neural networks (PINNs) and operator learning architectures such as DeepONets and FNOs as well as for physics-informed operator learning. These bounds guarantee that PINNs and (physics-informed) DeepONets or FNOs will efficiently approximate the underlying solution or solution operator of generic partial differential equations (PDEs). Our framework utilizes existing neural network approximation results to obtain bounds on more involved learning architectures for PDEs. We illustrate the general framework by deriving the first rigorous bounds on the approximation error of physics-informed operator learning and by showing that PINNs (and physics-informed DeepONets and FNOs) mitigate the curse of dimensionality in approximating nonlinear parabolic PDEs.

研究の動機と目的

• PINNsと演算子学習アーキテクチャ（PDE設定における）に対して近似誤差を境界付けるための汎用フレームワークを動機づけ、形式化する。
• 神経ネットワーク、時空ネット、物理情報付き変種間で誤差推定を橋渡し、統一的な保証を得る。
• 物理情報付き演算子学習の最初の厳密な境界を導出し、滑らかさ仮定の下で次元非依存的な収束を示す。
• 既存のニューラルネット近似結果が複雑なPDE学習アーキテクチャの境界を導くことを実証する。

提案手法

• 一般的なAssumptionフレームワーク（Assumption 3.1）を確立し、解けるPDE解を、制御されたノルムを備えた効率的に近似可能なニューラル代替物へ結びつける。
• 固定時刻NN近似のマージン推定が時空ネット、PINN、物理情報付き演算子学習器へ拡張される誤差伝達技術を開発する（Theorems 3.5–3.10）。
• 時間離散化のためのTaylor展開と空間微分の有限差分近似を用いて時空近似誤差を境界付ける（Theorem 3.5）。
• FNOとDeepONetの既知の関係を活用して汎用的な演算子学習境界を導出する（Theorem 3.7およびCorollary 3.8）。
• 安定性条件（Assumption 3.6）を課すことで、FNOs/DeepONetsで近似された演算子のL2/L∞誤差境界を得る（Theorem 3.7）。
• 事後の一般化境界（Theorem 3.11）を提供し、訓練データサイズがアーキテクチャの複雑さとどのように相互作用するかを示す。

実験結果

リサーチクエスチョン

• RQ1 PINNsと演算子学習モデル（DeepONetsとFNOs）の厳密で汎用的な近似誤差境界を、広範なPDEクラスに対して導出できる統一フレームワークは存在するか？
• RQ2 演算子学習の物理情報付き変種（PINN風のDeepONets/FNOs）はデータ駆動型の counterpartsと同じ次数の近似を許容し、次元の呪いを緩和できるか？
• RQ3 既知のニューラルネット近似結果を時空ネットワークおよび物理情報付き演算子へ移植して効率的で次元非依存的な収束を得るにはどうすればよいか？
• RQ4 どの条件（滑らかさ、安定性、境界条件）下でPINNsと物理情報付き演算子学習の次元非依存的な収束率を保証できるか？
• RQ5 これらのアーキテクチャの学習理論的一般化保証（事後境界）はどのようなものか？

主な発見

• 著者らは物理情報付き演算子学習（PINN-DeepONet/FNO変種）の最初の厳密境界を示す。
• 空間-時間PINNおよび物理情報付き演算子は、特定の正則性条件の下で次元が指数的に増加しても近似誤差が必ずしも大きくならない境界を達成できることを証明する（次元非依存性）。
• 固定時刻のニューラルネットがPDE解を効率的に近似する場合、時空ネットと演算子学習代替物は効率的な近似性質を継承できる（Theorem 3.5）。
• FNOの汎用的な誤差境界を導出し、既知のDeepONet-FNO結合を介してDeepONetにも対応する境界を得る（Theorem 3.7およびCorollary 3.8）。
• 事後の一般化誤差境界を提供し、標準的条件下で期待一般化誤差が訓練誤差と複雑さ依存項によって支配されることを示す（Theorem 3.11）。
• 応用として、非線形拡散型PDE（例：Allen–Cahn）に対してPINNが次元の呪いを克服すること、物理情報付き演算子学習の次元非依存的収束を示すことを挙げる（セクション4）。