[論文レビュー] Can Physics-Informed Neural Networks beat the Finite Element Method?

Tamara G. Grossmann, Urszula Julia Komorowska+2 more|arXiv (Cornell University)|Feb 8, 2023

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本論文は、物理情報ニューラルネットワーク（PINN）と有限要素法（FEM）を、Poisson、Allen–Cahn、および semilinear Schrödinger PDEs に対して体系的に比較する。FEMは一般に解の時間と精度でPINNを上回るものの、いくつかのケースでは解かれたPDEを評価する際にPINNの方が速いことがある。

ABSTRACT

Partial differential equations play a fundamental role in the mathematical modelling of many processes and systems in physical, biological and other sciences. To simulate such processes and systems, the solutions of PDEs often need to be approximated numerically. The finite element method, for instance, is a usual standard methodology to do so. The recent success of deep neural networks at various approximation tasks has motivated their use in the numerical solution of PDEs. These so-called physics-informed neural networks and their variants have shown to be able to successfully approximate a large range of partial differential equations. So far, physics-informed neural networks and the finite element method have mainly been studied in isolation of each other. In this work, we compare the methodologies in a systematic computational study. Indeed, we employ both methods to numerically solve various linear and nonlinear partial differential equations: Poisson in 1D, 2D, and 3D, Allen-Cahn in 1D, semilinear Schrödinger in 1D and 2D. We then compare computational costs and approximation accuracies. In terms of solution time and accuracy, physics-informed neural networks have not been able to outperform the finite element method in our study. In some experiments, they were faster at evaluating the solved PDE.

研究の動機と目的

• 広範なPDEに対してPINNsとFEMの比較を動機づける。
• PINNsとFEMの解法時間、評価時間、精度を評価する。
• 1D〜3Dにおける線形および非線形PDE全体で、PINNsがFEMを上回るかを調査する。
• 公正な評価を可能にするため、Poisson、Allen–Cahn、semilinear Schrödingerの基準解を提供する。

提案手法

• 基準として、弱形式と標準的な時間積分（非線形の場合は半陰的法）を用いるFEMを用いる。
• 境界条件/初期条件の残差とPDE残差を組み合わせた損失を用いて、vanilla PINNを実装する。
• 導関数を評価するため、Latin Hypercube Samplingと自動微分を用いてPINNを訓練する。
• Poissonの真値は解析解で、Allen–Cahnと Schrödingerは非常に細かいFEM解を真値とする。
• 解法時間（FEM）と訓練時間（PINN）に加え、評価/補間時間と相対L2誤差を比較する。
• PINNの複数のネットワークアーキテクチャとFEMの複数のメッシュサイズを探索して、設定間の性能をマッピングする。

実験結果

リサーチクエスチョン

• RQ1 試験対象の問題全体で、PDE解を得るための解法時間に差があるか。
• RQ2 訓練後の評価時間はFEMと競合するか。
• RQ3 Poisson、Allen–Cahn、semilinear Schrödinger方程式の精度とスケーラビリティを、さまざまな次元でPINNとFEMを比較するとどうなるか。

主な発見

• PINNは、試験対象の問題全体で解法時間や精度においてFEMを上回らなかった。
• いくつかの実験では、訓練後に解かれたPDEの評価がPINNの方が速かった。
• 固定メッシュ上でPDEを解く場合、FEMは一般により速く、より正確な近似を得られた。
• PINNは同等の精度に達するまで、FEMよりかなり長い訓練時間を要することがある（2–3 orders of magnitude）。
• PINNの性能は、レイヤーの数だけでなく、層ごとのノード数やネットワークアーキテクチャに依存した。