[論文レビュー] FO-PINNs: A First-Order formulation for Physics Informed Neural Networks

Rini J. Gladstone, Mohammad A. Nabian+3 more|arXiv (Cornell University)|Oct 25, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、2次およびそれ以上の偏微分方程式（PDE）を解く際の精度と学習速度を向上させるために、自動微分を用いて2階微分の計算を1階微分に置き換えることで、物理情報付きニューラルネットワーク（PINNs）の1階形式であるFO-PINNsを提案する。FO-PINNsは、標準PINNsと比較して最大2.9倍高速に学習が可能であり、検証誤差は1桁低減される。特にパrameter化された系において顕著であり、近似距離関数を用いて境界条件を正確に強制可能である。

ABSTRACT

Physics-Informed Neural Networks (PINNs) are a class of deep learning neural networks that learn the response of a physical system without any simulation data, and only by incorporating the governing partial differential equations (PDEs) in their loss function. While PINNs are successfully used for solving forward and inverse problems, their accuracy decreases significantly for parameterized systems. PINNs also have a soft implementation of boundary conditions resulting in boundary conditions not being exactly imposed everywhere on the boundary. With these challenges at hand, we present first-order physics-informed neural networks (FO-PINNs). These are PINNs that are trained using a first-order formulation of the PDE loss function. We show that, compared to standard PINNs, FO-PINNs offer significantly higher accuracy in solving parameterized systems, and reduce time-per-iteration by removing the extra backpropagations needed to compute the second or higher-order derivatives. Additionally, FO-PINNs can enable exact imposition of boundary conditions using approximate distance functions, which pose challenges when applied on high-order PDEs. Through three examples, we demonstrate the advantages of FO-PINNs over standard PINNs in terms of accuracy and training speedup.

研究の動機と目的

• 標準PINNsがパラメータ化された高次PDEを解く際の精度が低下する問題に対処すること。
• PINNsにおける高価な2階微分の自動微分を排除することで計算コストを低減すること。
• 近似距離関数を用いて境界条件を正確に強制できること。
• 高次元パrameter空間を持つ複雑な物理系における一般化性と学習効率を向上させること。
• 計算オーバーヘッドを最小限に抑えつつ高い精度を維持するスケーラブルな1階形式を構築すること。

提案手法

• 解の1階微分のみを用いたPDE損失関数を定式化し、2階微分を回避する。
• 空間的1階微分（例：u_x, u_y）の追加出力をネットワークに導入し、高階微分項を再構成する。
• 1階微分の整合性から導かれる追加の損失項を用いて微分の整合性を強制する。
• 損失関数内で近似距離関数を用いてディリクレ境界条件を正確に強制する。
• 精度を損なわずに収束を加速するため、自動混合精度（AMP）学習を活用する。
• PDEの残差、境界条件、微分整合性制約を組み合わせた物理ベースの損失関数を用いてネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 PINNsの1階形式は、2階PDEに対して標準PINNsと同等またはそれ以上の精度を達成できるか？
• RQ2 PINNsから2階微分の計算を排除することで、測定可能な学習速度の向上が得られるか？
• RQ3 特に高階PDEにおいて、近似距離関数を用いて境界条件を正確に強制できるか？
• RQ4 パラメータ化されたPDE問題におけるパrameter次元の増加に伴い、FO-PINNsの性能はどのようにスケーリングするか？
• RQ5 ナビエ-ストークス方程式のような複雑な系で、複数のパラメータを含む場合でもFO-PINNsは高い精度を維持できるか？

主な発見

• FO-PINNsは、逆伝播のオーバーヘッドが低減されたことにより、標準PINNsと比較して学習時間を2.9倍高速化する。
• パラメータ化されていない問題において、FO-PINNsは標準PINNsと比較して検証誤差を1桁低減する。
• 最大7パラメータのパラメータ化された系において、FO-PINNsはベースライン（0パラメータ）ケースに近い精度を維持するが、標準PINNsは顕著な誤差の悪化を示す。
• ナビエ-ストークス方程式の例において、速度および圧力の予測誤差はFO-PINNsが標準PINNsと比較して1桁低減される。
• FO-PINNsは近似距離関数を用いて境界条件を正確に強制可能であり、これは標準PINNsでは困難である。
• 最終層に僅かな出力変数と整合性制約を追加するだけで、高階PDEへも一般化可能である。