[論文レビュー] Physics-informed neural networks with residual/gradient-based adaptive sampling methods for solving PDEs with sharp solutions

Zhiping Mao, Xuhui Meng|arXiv (Cornell University)|Feb 16, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、鋭い解を示す偏微分方程式（PDE）を解く際の精度を向上させるために、残差および勾配に基づく適応的サンプリング手法（ASMs）を組み込んだ物理に基づくニューラルネットワーク（PINNs）を提案する。反復的に残差が大きくまたは解の勾配が急な領域に点を追加することで、ASM II（両方の指標を用いる）は、標準PINNsや残差のみを用いるASM Iと比較して、優れた精度、安定性、収束性を達成する。

ABSTRACT

We consider solving the forward and inverse PDEs which have sharp solutions using physics-informed neural networks (PINNs) in this work. In particular, to better capture the sharpness of the solution, we propose adaptive sampling methods (ASMs) based on the residual and the gradient of the solution. We first present a residual only based ASM algorithm denoted by ASM I. In this approach, we first train the neural network by using a small number of residual points and divide the computational domain into a certain number of sub-domains, we then add new residual points in the sub-domain which has the largest mean absolute value of the residual, and those points which have largest absolute values of the residual in this sub-domain will be added as new residual points. We further develop a second type of ASM algorithm (denoted by ASM II) based on both the residual and the gradient of the solution due to the fact that only the residual may be not able to efficiently capture the sharpness of the solution. The procedure of ASM II is almost the same as that of ASM I except that in ASM II, we add new residual points which not only have large residual but also large gradient. To demonstrate the effectiveness of the present methods, we employ both ASM I and ASM II to solve a number of PDEs, including Burger equation, compressible Euler equation, Poisson equation over an L-shape domain as well as high-dimensional Poisson equation. It has been shown from the numerical results that the sharp solutions can be well approximated by using either ASM I or ASM II algorithm, and both methods deliver much more accurate solution than original PINNs with the same number of residual points. Moreover, the ASM II algorithm has better performance in terms of accuracy, efficiency and stability compared with the ASM I algorithm.

研究の動機と目的

• 鋭い解を示すPDEを物理に基づくニューラルネットワーク（PINNs）で正確に解くという挑戦に取り組む。PINNsは、しばしば収束性が低く、精度が悪いという問題を抱える。
• 均一なサンプリングや事前知識に基づく残差サンプリングの限界を克服するため、誤差が大きくまたは勾配が急な領域に動的にサンプリングを refining する適応的サンプリング戦略を導入する。
• 複雑な幾何形状および高次元における前方問題および逆問題において、解の精度と学習の安定性を向上させる。
• 鋭い特徴が境界付近に存在する場合に、境界条件に対しても適応的リファインメントを拡張し、全体の解の忠実性を向上させる。
• 残差と勾配の両方の情報を組み合わせることで、PINNsにおけるより強固で効率的なサンプリングを実現する。

提案手法

• ASM Iを提案：最大の平均絶対残差を示す部分領域に、残差値が最大の点を追加する適応的サンプリング手法。
• ASM IIを開発：残差と勾配の大きさの両方を組み込み、残差と解の勾配が両方大きい点を追加することで、鋭い特徴をよりよく捉える。
• 領域分割を用いて計算領域をS個の部分領域に分割し、局所的な誤差および勾配評価を実施する。
• ガウス求積法を用いて部分領域統合の残差および勾配ノルムを計算し、適応的リファインメントの意思決定に活用する。
• 境界の適応的サンプリングを統合：鋭さが境界付近にある場合、解の大きさが大きな境界点を追加する。
• AdamおよびL-BFGS最適化アルゴリズムを繰り返し用いてPINNを学習し、各反復において適応的リファインメントを適用し、収束または最大反復回数に達するまで繰り返す。

Figure 1: Schematic of PINNs. Yellow dots: inputs of the NN, blue dots: activation function, green dots $\tilde{u}$ : output of the neural network (which is used to approximate the solution of the PDE), orange dots: differential operator, $R$ represents the residual of the PDE, $Loss_{Data}$ represe

実験結果

リサーチクエスチョン

• RQ1 残差と勾配に基づく適応的サンプリングは、均一なサンプリングや残差のみのサンプリングと比較して、鋭い解を示すPDEにおけるPINNの精度を向上させることができるか？
• RQ2 解の勾配情報の組み込みが、PINNsにおける適応的サンプリングプロセスの安定性および効率性をどのように向上させるか？
• RQ3 鋭い特徴が領域境界に位置する場合、境界付近での適応的サンプリングは解の精度をどの程度向上させるか？
• RQ4 非線形および高次元問題を含むさまざまなPDEにおいて、提案されたASMs（ASM IおよびASM II）は収束速度、精度、耐障害性の観点でどのように比較されるか？
• RQ5 提案された適応的サンプリング戦略は、標準PINN手法と比較して、高精度を達成するために必要な残差点の数を顕著に削減できるか？

主な発見

• ASM II（残差と勾配の両方を用いる）は、$d=9$ の高次元ポアソン方程式において、ASM Iおよび標準PINNsと比較して、より速い収束性と顕著に低い $L^∞$ 誤差を達成した。
• L字型ポアソン問題において、境界の適応的サンプリングを組み込んだ本手法は、ベースラインPINNおよび残差のみの適応的サンプリングと比較して、精度、安定性、効率性の面で向上を示した。
• 圧縮性エーラー方程式およびバーガース方程式において、ASM IおよびASM IIは、同じ数の残差点を用いた標準PINNsを上回った。特にASM IIは、より優れた精度と安定性を示した。
• ASM IIにおける勾配情報の使用により、不連続性や鋭い層の検出およびリファインメントがより効果的に行われ、解の分解能が向上した。
• 高次元問題において、ASM IIはASM Iと比較して、より少ない残差点で高い精度を達成した。これは、より優れたサンプリング効率を示している。
• 残差と勾配の両方を基にした適応的リファインメント戦略は、複雑または局所的な鋭い特徴を有する問題において、より安定した学習プロセスをもたらした。

Figure 2: Schematic for the computation of mean value of the absolute value ( $\mathcal{E}$ ) in a sub-domain. Based on the Gaussian quadrature, the $\mathcal{E}$ is calculated as $\mathcal{E}=\frac{1}{x_{c}-x_{b}}\int^{x_{c}}_{x_{b}}|R(x)|dx\approx\frac{1}{x_{c}-x_{b}}\sum^{N}_{i}\omega_{i}|R(x_{i}