[論文レビュー] On the Stability and Convergence of Physics Informed Neural Networks

Dimitrios Gazoulis, Ioannis Gkanis+1 more|arXiv (Cornell University)|Aug 10, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

この論文は、エネルギー関数の強制性と $γ$-収束を活用することで、物理的制約付きニューラルネットワーク（PINNs）の安定性と収束性に関する厳密な数学的枠組みを確立する。安定な学習には離散的強制性が必要であることを示し、明示的時間離散化では厳密なCFL類似制約がなければ不安定化することを示している一方、陰的スキームはニューラルネットワーク空間の適切な近似性のもとで収束を保証する。

ABSTRACT

Physics Informed Neural Networks is a numerical method which uses neural networks to approximate solutions of partial differential equations. It has received a lot of attention and is currently used in numerous physical and engineering problems. The mathematical understanding of these methods is limited, and in particular, it seems that, a consistent notion of stability is missing. Towards addressing this issue we consider model problems of partial differential equations, namely linear elliptic and parabolic PDEs. Motivated by tools of nonlinear calculus of variations we systematically show that coercivity of the energies and associated compactness provide a consistent framework for stability. For time discrete training we show that if these properties fail to hold then methods may become unstable. Furthermore, using tools of $Γ$- convergence we provide new convergence results for weak solutions by only requiring that the neural network spaces are chosen to have suitable approximation properties. While our analysis is motivated by neural network-based approximation spaces, the framework developed here is applicable to any class of discrete functions satisfying the relevant approximation properties, and hence may serve as a foundation for the broader study of variational nonlinear PDE solvers.

研究の動機と目的

• 偏微分方程式（PDEs）を解くための物理的制約付きニューラルネットワーク（PINNs）における一貫した数学的安定性の概念の欠如に対処すること。
• 特に明示的および陰的時間離散化を比較することで、時間離散化された学習におけるPINNsの安定性を分析すること。
• $γ$-収束理論を用いて、線形楕円型および放物型PDEの弱解に対する収束保証を提供すること。
• 安定で収束するPINN近似を保証するための主要な数学的条件として、強制性とコンパクト性を特定すること。
• 強制性の不成立が不安定性を引き起こす理由、特に明示的時間離散化スキームにおいて顕著であることを示すこと。

提案手法

• ニューラルネットワーク空間上での $L^2$-ノルムにおける残差ベースエネルギー関数の最小化問題としてPINNsを形式化すること。
• 非線形変分法の道具、特に強制性とコンパクト性を用いて、PINNsのための新しい安定性の概念を定義すること。
• $γ$-収束を用いて、ニューラルネットワーク空間の近似性が満たされる場合にPINN解がPDEの弱解に収束することを証明すること。
• 陰的（IE）および明示的（EE）オイラー型時間離散化を用いた時間離散PINN定式化を分析すること。
• 回復列を構築して、離散エネルギー関数の $γ$-極限を検証し、最小化子の収束を確立すること。
• DeepXDEを用いた数値実験により、空間的トレーニングポイントの数と時間ステップの変化に伴う明示的と陰的時間離散化の安定性を比較すること。

Figure 1: Explicit time discrete training. Left: time step $0.4:$ the approximate solution seems that diverge. Right: time step $0.01:$ with much smaller time step the approximate solution has stable behaviour.

実験結果

リサーチクエスチョン

• RQ1 偏微分方程式を解くための物理的制約付きニューラルネットワーク（PINNs）に対して、一貫した安定性の概念を定義できるか？
• RQ2 エネルギー関数の強制性がPINN近似の安定性を保証する上で果たす役割は何か？
• RQ3 なぜPINNsにおける明示的時間離散化スキームは不安定化するのか？また、どのような条件下で安定化できるか？
• RQ4 PINNエネルギー関数の最小化子がPDEの真の弱解に収束するための条件は何か？
• RQ5 ニューラルネットワーク空間の近似性がPINN解の収束に与える影響は何か？

主な発見

• エネルギー関数の強制性および関連するコンパクト性は、PINNsにおける安定性の必要十分条件であり、安定性の厳密な数学的基盤を提供する。
• 明示的時間離散化におけるPINNsは強制性を満たさず、時間ステップが大きすぎる、または空間的トレーニングポイントが増加すると、不安定化および発散を示す。
• 陰的時間離散化は強制性を維持し、真の解への安定な収束を保証する。
• 数値実験により、明示的PINNsは大きな時間ステップ（例：$k=0.4$）では発散するが、小さなステップ（例：$k=0.01$）では安定化することが確認され、理論的分析を支持する。
• 離散エネルギー関数が $γ$-収束し、かつニューラルネットワーク空間に適切な近似性がある場合、PINN最小化子の全列が $L^2(0,T;H^1(Ω))$ で真の解 $u$ に収束する。
• 本論文は、離散設定において一様な強制性を仮定しない場合でも、エネルギー関数の $γ$-収束がPINN解が弱解に収束するための十分条件であることを確立している。

Figure 2: The approximations at times $t_{n}=n(0.2)$ , $n=1,2,\dots,$ are displayed with red and the initial condition with black. Left: Explicit time discrete training with time step $0.2$ and $16$ training points. The approximate solution seems that diverge. Left: Implicit time discrete training w