[論文レビュー] Distributed physics informed neural network for data-efficient solution to partial differential equations

Vikas Dwivedi, Nishant Parashar+1 more|arXiv (Cornell University)|Jan 1, 2019

Model Reduction and Neural Networks参考文献 21被引用数 29

ひとこと要約

本稿では、計算領域を部分領域に分割し、それぞれを浅い局所PINNで解くことで、データ効率性と精度を向上させる分散型物理学情報ニューラルネットワーク（DPINN）を提案する。DPINNは、バーガース方程式や定常状態のナビエ＝ストークス方程式といった非線形PDEを解く際、標準PINNよりも優れた性能を示し、急峻な勾配を捉える能力が高く、データ要件を低減する。

ABSTRACT

The physics informed neural network (PINN) is evolving as a viable method to solve partial differential equations. In the recent past PINNs have been successfully tested and validated to find solutions to both linear and non-linear partial differential equations (PDEs). However, the literature lacks detailed investigation of PINNs in terms of their representation capability. In this work, we first test the original PINN method in terms of its capability to represent a complicated function. Further, to address the shortcomings of the PINN architecture, we propose a novel distributed PINN, named DPINN. We first perform a direct comparison of the proposed DPINN approach against PINN to solve a non-linear PDE (Burgers' equation). We show that DPINN not only yields a more accurate solution to the Burgers' equation, but it is found to be more data-efficient as well. At last, we employ our novel DPINN to two-dimensional steady-state Navier-Stokes equation, which is a system of non-linear PDEs. To the best of the authors' knowledge, this is the first such attempt to directly solve the Navier-Stokes equation using a physics informed neural network.

研究の動機と目的

• 標準PINNが複雑な関数を表現する能力に制限を受けることと、急峻な勾配を扱う困難さを解消する。
• 深層PINNにおける勾配消失問題を、浅く局所的なネットワークを用いることで克服する。
• 計算領域を分散化し、界面連続性を強制することで、PDEの解法におけるデータ効率を向上させる。
• 物理学情報学習を直接用いて、ナビエ＝ストークス方程式のような非線形PDEの連立系を解く能力を初めて示す。
• 今後の逆問題や高次元PDEへの応用の基盤を確立する。

提案手法

• 計算領域を小さな部分領域（セル）に分割し、局所的で浅いPINNによる解法を可能にする。
• 各セルで2層の全結合ニューラルネットワークを用い、深さに起因する勾配消失問題を軽減する。
• 界面におけるフラックス不一致ペナルティを損失関数に導入し、セル境界間の連続性を強制する。
• PDEの残差、境界条件、初期条件、およびセル間連続性制約を組み合わせた合成損失関数を定式化する。
• 各局所PINN内で、自動微分を用いてPDEの損失項における微分を計算する。
• 領域全体にわたるコロケーション点（界面点を含む）を用いて、分散ネットワークを学習する。

実験結果

リサーチクエスチョン

• RQ1 分散型PINNアーキテクチャは、複雑で高周波数の関数を表現する標準PINNの能力を向上させることができるか？
• RQ2 DPINNアプローチは、非線形PDEの解法において、データ要件を低減しつつも、解の精度を維持または向上させることができるか？
• RQ3 DPINNは、定常状態のナビエ＝ストークス方程式のような非線形PDEの連立系を効果的に解くことができるか？
• RQ4 標準PINNと比較して、DPINNは急峻な勾配や波パケットの対流をどの程度正確に捉えることができるか？
• RQ5 界面連続性制約は、一般化性能とデータ効率の向上に寄与する正則化として、どの程度の効果を示すか？

主な発見

• 標準PINNが捉えられない高周波数の波パケットを、DPINNが正しく表現でき、優れた表現能力を示した。
• バーガース方程式において、DPINNは、はるかに少ないトレーニングデータポイントで標準PINNよりも低い平均二乗誤差（MSE）を達成した。
• Re = 10 の定常状態のリッド駆動キャビティ流れにおいて、DPINNは、Ghiaら（1982）が得た標準的なベンチマーク結果と一致する速度場および圧力場を正確に予測した。
• DPINNが生成した流れの線、速度および圧力の等高線は、物理的に整合性のある流れのパターンを示しており、本手法の物理的妥当性を裏付けた。
• DPINNアプローチは、物理学情報ニューラルネットワークフレームワークを用いて、定常状態のナビエ＝ストークス方程式を直接解いた初の試みである。
• DPINNにおける界面連続性制約は、標準PINNと比較して一般化性能を向上させ、データ依存性を低減する自然な正則化として機能した。