[論文レビュー] A mixed formulation for physics-informed neural networks as a potential solver for engineering problems in heterogeneous domains: comparison with finite element method

Shahed Rezaei, Ali Harandi+3 more|arXiv (Cornell University)|Jun 27, 2022

Model Reduction and Neural Networks参考文献 63被引用数 164

ひとこと要約

本稿では、物理に基づくニューラルネットワーク（PINNs）の混合形式を提案する。この手法は、別個のニューラルネットワークを用いて一次変数とその空間勾配を別々に予測し、強形式の偏微分方程式（PDE）とエネルギーに基づく制約を用いて物理法則を強制する。この手法は一次の微分のみを必要とし、異種媒質における弾性問題とポアソン問題の解法において、有限要素法（FEM）と同等の精度を達成し、PINNsが複雑な工学的問題に対するメッシュフリーかつデータフリーなソルバとしての可能性を示している。

ABSTRACT

Physics-informed neural networks (PINNs) are capable of finding the solution for a given boundary value problem. We employ several ideas from the finite element method (FEM) to enhance the performance of existing PINNs in engineering problems. The main contribution of the current work is to promote using the spatial gradient of the primary variable as an output from separated neural networks. Later on, the strong form which has a higher order of derivatives is applied to the spatial gradients of the primary variable as the physical constraint. In addition, the so-called energy form of the problem is applied to the primary variable as an additional constraint for training. The proposed approach only required up to first-order derivatives to construct the physical loss functions. We discuss why this point is beneficial through various comparisons between different models. The mixed formulation-based PINNs and FE methods share some similarities. While the former minimizes the PDE and its energy form at given collocation points utilizing a complex nonlinear interpolation through a neural network, the latter does the same at element nodes with the help of shape functions. We focus on heterogeneous solids to show the capability of deep learning for predicting the solution in a complex environment under different boundary conditions. The performance of the proposed PINN model is checked against the solution from FEM on two prototype problems: elasticity and the Poisson equation (steady-state diffusion problem). We concluded that by properly designing the network architecture in PINN, the deep learning model has the potential to solve the unknowns in a heterogeneous domain without any available initial data from other sources. Finally, discussions are provided on the combination of PINN and FEM for a fast and accurate design of composite materials in future developments.

研究の動機と目的

• 異種媒質における境界値問題を解く際の物理に基づくニューラルネットワーク（PINNs）の性能を向上させること。
• 一次変数とその勾配のための別個のネットワークを導入することで、損失関数における高階微分への依存度を低減すること。
• 強形式のPDEとエネルギー関数を損失項として組み込むことで、物理的整合性と収束性を向上させること。
• 提唱された混合PINN手法を、ベンチマークとしての弾性問題とポアソン問題において、有限要素法（FEM）と直接比較すること。
• PINNsが事前データが不要なメッシュフリーで自己教師ありのFEM代替手段として、複雑な工学的問題を解く可能性を検証すること。

提案手法

• 一次変数（例：変位または温度）を予測するネットワークと、その空間勾配（例：ひずみまたはフラックス）を予測する別個のネットワークを訓練する。
• 自動微分を用いて二次微分を計算することで、勾配ネットワークに強形式のPDE（例：釣合の式または力のバランス）を強制する。
• エネルギー関数（例：全ポテンシャルエネルギーまたは散逸関数）を追加の損失項として導入し、安定性と精度を向上させる。
• 総損失関数を以下の重み付き和として構築する：(1) 強形式の残差、(2) 境界条件（ディリクレおよびノイマン）、(3) エネルギー関数、(4) 界面における連続性制約。
• 領域および境界に分布するコロケーション点を用いて損失項を評価し、Adam最適化法による最適化を実施する。
• 公平な比較のため、標準PINNsと同一のネットワークアーキテクチャ（4層の隠れ層、1つの層あたり20ニューロン、tanh活性化関数）とハイパーパrameter（学習率 = 0.001）を適用する。

実験結果

リサーチクエスチョン

• RQ1 一次変数とその勾配のための別個のネットワークを用いた混合形式は、異種固体力学問題におけるPINN性能を向上させることができるか？
• RQ2 損失関数に一次微分のみを用いることで、高階微分に依存する標準PINNsと比較して、収束性と精度が向上するか？
• RQ3 提唱された混合PINNは、弾性問題および定常拡散問題において、有限要素法（FEM）と比較して精度と収束速度の面で優れているか？
• RQ4 エネルギー関数を損失項として組み込むことで、物理的整合性およびPINN解の安定性がどの程度向上するか？
• RQ5 提案されたPINNフレームワークは、ラベル付きデータや事前のシミュレーションを必要とせずに、異種媒質における複雑な境界値問題を解くことが可能か？

主な発見

• 一次変数とその勾配のための別個のネットワークを用いる混合PINN形式は、2階常微分方程式（ODE）を解く際、標準PINNsと比較して顕著に低い平均絶対誤差（MAE）を達成した。
• コロケーション点数とエポック数が同一の場合、一次微分のみを用いる1階ODE形式は、2階ODE形式よりも低いMAEを生じさせ、安定性と精度の向上を示した。
• コロケーション点数を10から100に増加させることで、予測の標準偏差が低下し、収束性が向上した。特に1階ODE形式では、100点を超えると分散がほとんど見られなくなった。
• 提唱された混合PINNは、異種媒質における弾性問題とポアソン方程式問題の両方で、有限要素法（FEM）と同等の解の精度を達成した。
• エネルギーに基づく損失項は、物性の不連続領域や複雑な境界条件領域において、物理的整合性の向上に寄与した。
• この手法は、学習領域を越えての外挿挙動も頑健に示し、定義域[0,10]の問題においてもx = 15でも真の解に近い予測を維持した。