[論文レビュー] Physics-Informed Neural Networks and Extensions

Maziar Raissi, Paris Perdikaris+2 more|arXiv (Cornell University)|Aug 29, 2024

Neural Networks and Applications被引用数 7

ひとこと要約

この論文は Physics-Informed Neural Networks (PINNs) を概観し、それらの拡張（適応ウェイト、領域分解、長時間積分など）を調査し、運動方程式をデータ駆動で発見することを示す。糖解発振器のシンボリック回帰の例を含む。

ABSTRACT

In this paper, we review the new method Physics-Informed Neural Networks (PINNs) that has become the main pillar in scientific machine learning, we present recent practical extensions, and provide a specific example in data-driven discovery of governing differential equations.

研究の動機と目的

• データと既知の物理を統合する枠組みとしてPINNsを用い、前方/逆問題を解くとともに欠落している物理を明らかにすることを動機づける。
• トレーニング性、スケーラビリティ、マルチスケール・確率論的問題への適用性を改善する拡張を要約する。
• PINN に着想を得た手法を用いてダイナミカルシステムと支配方程式のデータ駆動発見を示す。
• PINNs の理論的基盤と実用的制限について議論し、将来の研究展望を示す。

提案手法

• PINN が PDE 残差から導かれる物理情報付き損失項でニューラルネットを正則化する方法を説明する。
• NTK ベースの較正や完全学習可能な点ごとのウェイトを含む適応損失加重技術を紹介する。
• CPINN、XPINN）と hp-VPINN を用いたマルチスケール問題の領域分解アプローチを議論する。
• 長時間積分と因果関係を意識した訓練を含む、時間掃引型の COLLocation や転移学習を含むアプローチを提示する。
• PI-GANs や fPINNs を含む、ハイブリッド残差を用いた確率的・分数型 PDE への拡張を示す。
• 多段時間刻みとニューラルネットを組み合わせたデータ駆動によるダイナミクスの発見と、シンボリック回帰を用いた支配方程式の同定を示す。
• データ駆動の例として、糖解発振子モデルを多段法とシンボリック回帰（PySR）で学習し、支配表現を回復して複数の ODE 項で低相対誤差を達成する。

Figure 1: Schematic to illustrate three possible categories of physical problems and associated available data: Physics-informed neural networks can integrate seamlessly data and parameterized PDEs, including models with missing physics, in a unified way expressed compactly using automatic different

実験結果

リサーチクエスチョン

• RQ1 物理情報付き損失を用いて、部分的またはノイズのあるデータから PDE 解や未知パラメータを学習できるか。
• RQ2 PINN をマルチスケール、確率論的、または分数 PDE に拡張しつつ計算効率を維持できるか。
• RQ3 データから支配方程式を発見できるか、そしてシンボリック回帰が正確な解析形を同定する効果はどれほどか。
• RQ4 長時間積分と大規模領域に対する PINN の訓練安定性、収束性、スケーラビリティを改善する戦略は何か。

主な発見

式	PySR	真の式	相対誤差
第1 ODE	2.6-\\frac{100S_{1}S_{6}}{38.3S_{6}^{3}-33.7S_{6}^{2}+10.5S_{6}}	2.5-\\frac{100S_{1}S_{6}}{1+\\left(\\frac{S_{6}}{0.52}\\right)^{4}}	8.04e-02
第7 ODE	1.3S_{4}-3.1S_{7}	1.3S_{4}-3.1S_{7}	0.00
第5 ODEの一部	5.99S_{2}-18.0S_{2}S_{5}	6.0S_{2}-18.0S_{2}S_{5}	3.38e-03

• PINN は格子ベースの離散化を用いなくても、正確な PDE 解へ収束し、前方/逆問題の不適定性を扱える。
• 適応ウェイト、領域分解（CPINN/XPINN）、hp-VPINN などの拡張は、マルチスケール問題のスケーラビリティと効率を改善する。
• 確率的・分数型 PDE には PINN ベースのアプローチ（PI-GANs、fPINNs）で不確実性量化と異常輸送に対処できる。
• 因果関係を意識した損失関数と時間掃引戦略により長時間積分の課題を緩和し、並列的な時間分解を可能にする。
• データ駆動の糖解発振子の例は、動力学を学習し PySR を用いたシンボリック回帰で支配方程式を回復し、いくつかの ODE 項で相対誤差を低く達成した。
• 理論的研究により、特定の PDE クラスにおける PINN の収束性と、一定条件の下での一般化誤差推定が示される。

Figure 2: Basic structure of PINN for conservation laws. The left (physics uninformed) network represents the PDE solution “U(x,t)” while the right (physics informed) network describes the PDE residual “F(x,t)”. Currently, optimization is done by a human-in-the-loop empirically based on trial and er