[論文レビュー] Solving differential equations using physics informed deep learning: a hand-on tutorial with benchmark tests

Hubert Baty, Leo Baty|arXiv (Cornell University)|Feb 23, 2023

Model Reduction and Neural Networks被引用数 6

ひとこと要約

この論文は、常微分方程式（ODE）を解くための物理則を組み込んだニューラルネットワーク（PINN）に関する実践的チュートリアルを提示している。訓練中に物理法則を損失関数に直接統合することで、弱い非線形性を示す問題では最小限のデータで正確な解を得られるが、ヴァン・デル・ポール振動子のような強い非線形系では、収束のための膨大な訓練データを必要とすることを示しており、データ効率性と一般化性能のトレードオフが浮き彫りになっている。

ABSTRACT

We revisit the original approach of using deep learning and neural networks to solve differential equations by incorporating the knowledge of the equation. This is done by adding a dedicated term to the loss function during the optimization procedure in the training process. The so-called physics-informed neural networks (PINNs) are tested on a variety of academic ordinary differential equations in order to highlight the benefits and drawbacks of this approach with respect to standard integration methods. We focus on the possibility to use the least possible amount of data into the training process. The principles of PINNs for solving differential equations by enforcing physical laws via penalizing terms are reviewed. A tutorial on a simple equation model illustrates how to put into practice the method for ordinary differential equations. Benchmark tests show that a very small amount of training data is sufficient to predict the solution when the non linearity of the problem is weak. However, this is not the case in strongly non linear problems where a priori knowledge of training data over some partial or the whole time integration interval is necessary.

研究の動機と目的

• 常微分方程式（ODE）を解くための物理則を組み込んだニューラルネットワーク（PINN）の実装を、ステップバイステップで実践的に提供すること。
• 非線形性が増加するさまざまな学術的ODEに対してPINNの性能を評価し、標準的な数値積分法と比較すること。
• PINN訓練に必要な最小限のデータ要件を調査し、特に初期条件とコロケーション点の役割に焦点を当てる。
• PINNが古典的な数値解法よりも優れるか劣る状況を特定し、特にデータ効率性と収束性の観点から分析すること。
• メッシュフリーな特性が大きな利点であることを強調するとともに、ハイパーパrameterチューニングと訓練安定性の課題に言及すること。

提案手法

• PINNは、データ適合性（教師あり損失）と物理的整合性（微分方程式の残差）を組み合わせた複合損失関数を最小化することで訓練される。
• 物理的整合性損失は、定義域全体に分布するコロケーション点で計算され、ニューラルネットワークの解がこれらの点で微分方程式を満たすように制約される。
• 自動微分を用いて、入力変数（例：時間）に関するネットワーク出力の導関数を計算し、残差に含まれる微分項を正確に評価できる。
• 入力層が空間的・時間的座標を扱い、隠れ層が非線形近似を担い、出力が1つの解を返すフィードフォワードニューラルネットワークアーキテクチャが使用される。
• 勾配ベース最適化（例：Adam）を用いて訓練され、学習率、データ重み、物理的損失重みなどのハイパーパrameterが、収束性と精度のバランスを取るために調整される。
• ベンチマークは、線形、非線形、強い非線形（ヴァン・デル・ポール）系を含むODEに対して実施され、解の精度は解析的解または高精度数値解と照合される。

Figure 1: Schematic representation of the structure for a Physics-Informed Neural Network applied to the resolution of a differential equation. The input layer has two input variables (i.e. two neurons) noted $x_{1}$ and $x_{2}$ representing for example a space and a time coordinate respectively. Tw

実験結果

リサーチクエスチョン

• RQ1 弱い非線形性を示す系において、初期条件のみを訓練データとして使用した場合、PINNはどの程度有効にODEを解けるか？
• RQ2 さまざまな非線形性の領域で、PINNが収束するための最小限の訓練データ点数とコロケーション点数はどれくらいか？
• RQ3 非線形性が増加するにつれて、例えばεが大きな値をとるヴァン・デル・ポール振動子のような場合、PINNの性能はどのように低下するか？
• RQ4 どの状況でPINNはルンゲ・クッタ法のような従来の数値解法よりもデータ効率性と解法速度の面で優れるか？
• RQ5 特に強い非線形問題において、ハイパーパrameterチューニングと収束性の主な課題は何か？

主な発見

• 弱い非線形ODEに対しては、PINNは初期条件データポイント3点と20～40個のコロケーション点のみで正確な解を得られ、古典的手法に比べてはるかに少ないデータ量で実現可能である。
• ε = 1/3のヴァン・デル・ポール振動子の場合、48個のコロケーション点と最小限のデータでPINNは正確な解に収束し、高いデータ効率性を示している。
• 強い非線形ケース（ε = 5）では、時間領域全体をカバーする大量の訓練データがなければPINNは収束せず、データ依存性が顕著に現れる。
• 訓練が終了すれば、解の予測は即座に行えるため、各新しい入力に対して再統合を繰り返す必要がある従来の解法とは大きな利点がある。
• 性能はハイパーパrameterチューニングに極めて敏感であり、自動手順が存在しないため、非線形性が強い領域では収束問題が生じる。
• 限界は存在するが、PINNは従来手法に比べてメッシュフリーな利点を維持しており、構造化されたグリッドなしに定義域全体の解の予測が可能である。

Figure 2: Tutorial solution $\hat{y_{\theta}}(t)$ (red solid line) predicted by the normal NN for $n_{t}=4000$ iterations (in left panel) and $n_{t}=24000$ iterations (in right panel) respectively, and compared to the exact solution (blue hatched line). The chosen training data set values are indica