[論文レビュー] Variational Physics-Informed Neural Networks For Solving Partial Differential Equations

Ehsan Kharazmi, Zhongqiang Zhang+1 more|arXiv (Cornell University)|Nov 27, 2019

Model Reduction and Neural Networks参考文献 31被引用数 197

ひとこと要約

VPINNを導入する。これは神経ネットワークを試行空間として、Legendreのテスト関数を組み合わせたペトロフ-ガレルギン型の変分形式の物理情報神経網であり、PINNよりも効率的かつ正確に偏微分方程式を解く。

ABSTRACT

Physics-informed neural networks (PINNs) [31] use automatic differentiation to solve partial differential equations (PDEs) by penalizing the PDE in the loss function at a random set of points in the domain of interest. Here, we develop a Petrov-Galerkin version of PINNs based on the nonlinear approximation of deep neural networks (DNNs) by selecting the {\em trial space} to be the space of neural networks and the {\em test space} to be the space of Legendre polynomials. We formulate the extit{variational residual} of the PDE using the DNN approximation by incorporating the variational form of the problem into the loss function of the network and construct a extit{variational physics-informed neural network} (VPINN). By integrating by parts the integrand in the variational form, we lower the order of the differential operators represented by the neural networks, hence effectively reducing the training cost in VPINNs while increasing their accuracy compared to PINNs that essentially employ delta test functions. For shallow networks with one hidden layer, we analytically obtain explicit forms of the extit{variational residual}. We demonstrate the performance of the new formulation for several examples that show clear advantages of VPINNs over PINNs in terms of both accuracy and speed.

研究の動機と目的

• PDEの変分（弱形式）をニューラルネットワークベースの解法に組み込み、強形式のPINNよりも精度と効率を向上させる。
• 統合による微分演算子の階数低減を行い、正則性要件と学習コストを低減する。
• 浅いネットワークの解析的取り扱いを可能にし、ドメイン分解と局所学習を促進する。
• 代表的なPDEでVPINNの性能を示し、PINNと比較する。
• 単純なネットワーク設定における変分残差の解析式を提供し、手法を照らし出す。

提案手法

• PDEを変分（弱）形式で定式化し、ニューラルネットワークフレームワーク内でテスト関数の集合を用いて残差をペナルティ化する。
• 解を深層ニューラルネットワーク（試行空間）で表現し、別個の線形のテスト空間（例：Legendre多項式や正弦関数）を使用する。
• PDE演算子とテスト関数の内積を用いて変分残差を構築し、それを変分損失L^vで課す。
• 残差の微分順序を低減するために部分積分を用い、正則性要件と学習コストを低減する。
• 浅いネットワークでは変分残差の明示的な解析形を導出し、深いネットワークでは数値積分を用いて積分を評価する。
• 複数の変分残差形式（Rk^(1)、Rk^(2)、Rk^(3)）と、それらが損失構築と境界処理に与える影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 変分（弱）形式は、強形式PINNと比較してニューラルネットワークPDE解法の学習効率と精度にどのような影響を及ぼすのか？
• RQ2 ペトロフ-ガレルギンVPINNフレームワークは演算子の階数と計算コストを低減しつつ、解の精度を維持または向上できるのか？
• RQ3 浅いVPINN設定における変分残差の解析形と数値的考慮事項は何か？
• RQ4 テスト関数の選択と境界条件の扱いはVPINNの性能と安定性にどう影響するのか？
• RQ5 ドメイン分解と局所的なテスト空間はVPINNの学習効率にどのような影響を与えるのか？

主な発見

• VPINNは、演算子の階数低減とペナルティ点の削減により、テストされた例でPINNよりも精度と速度の改善を示した。
• 浅いネットワークで特定の活性化関数を用いた場合、解析的な変分残差を導出でき、手法の扱いやすさを示す。
• 境界条件をペナルティ化して組み込む変分形式は、適切なペナルティパラメータを選べば高精度を達成できる。
• 正弦活性化関数と正弦テスト関数を用いた浅いVPINNは、Burger方程式のテストで明示的な残差式と競争力のある誤差を得られる。
• 境界処理と最適化の挙動（初期化、ペナルティパラメータ）はVPINNの収束と精度に大きく影響する。