[論文レビュー] A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks

Chenxi Wu, Min Zhu+3 more|arXiv (Cornell University)|Jul 21, 2022

Model Reduction and Neural Networks被引用数 43

ひとこと要約

本論文はPINNの残差点サンプリング手法を10件 comprehensively 比較し、2つの適応戦略（RADとRAR-D）を導入、前方および逆問題のPDEに対して非適応法を上回ることを、6000件超のシミュレーションに基づいて示す。

ABSTRACT

Physics-informed neural networks (PINNs) have shown to be an effective tool for solving forward and inverse problems of partial differential equations (PDEs). PINNs embed the PDEs into the loss of the neural network, and this PDE loss is evaluated at a set of scattered residual points. The distribution of these points are highly important to the performance of PINNs. However, in the existing studies on PINNs, only a few simple residual point sampling methods have mainly been used. Here, we present a comprehensive study of two categories of sampling: non-adaptive uniform sampling and adaptive nonuniform sampling. We consider six uniform sampling, including (1) equispaced uniform grid, (2) uniformly random sampling, (3) Latin hypercube sampling, (4) Halton sequence, (5) Hammersley sequence, and (6) Sobol sequence. We also consider a resampling strategy for uniform sampling. To improve the sampling efficiency and the accuracy of PINNs, we propose two new residual-based adaptive sampling methods: residual-based adaptive distribution (RAD) and residual-based adaptive refinement with distribution (RAR-D), which dynamically improve the distribution of residual points based on the PDE residuals during training. Hence, we have considered a total of 10 different sampling methods, including six non-adaptive uniform sampling, uniform sampling with resampling, two proposed adaptive sampling, and an existing adaptive sampling. We extensively tested the performance of these sampling methods for four forward problems and two inverse problems in many setups. Our numerical results presented in this study are summarized from more than 6000 simulations of PINNs. We show that the proposed adaptive sampling methods of RAD and RAR-D significantly improve the accuracy of PINNs with fewer residual points. The results obtained in this study can also be used as a practical guideline in choosing sampling methods.

研究の動機と目的

• 異なる残差点サンプリング戦略がPINNの精度と効率に与える影響を評価する。
• 6つの非適応一様サンプリング法、再サンプリングを用いた一様サンプリング、3つの適応サンプリング法（RAR-G、RAD、RAR-D）を体系的に比較する。
• 2つの新しい適応サンプリング法（RADとRAR-D）を提案し、複数の前方および逆PDE問題でその性能を評価する。
• 問題の特性（滑らかな解 vs. 振動的/複雑な解）に基づくサンプリング戦略の選択に関する実践的ガイドラインを提供する。

提案手法

• 非適応一様、再サンプリングを伴う一様、適応法に分類される残差点サンSampling戦略をレビュー・分類する。
• RAD: 残差に基づく適応分布を用いる RAD を導入する：PDF p(x) ∝ ε(x)^k / E[ε^k] + c。
• RAR-D: RAR-G と RAD のハイブリッドで、RAD に基づく PDF に従って点を追加する。
• RAR-G（greedy residual refinement）および従来の PDF ベース再サンプリング法と比較する。
• 6つのPDE問題（4つの前方、2つの逆問題）にわたって10のサンプリング手法を用い、>6000 PINN 実行を含む大規模数値実験を実施する。
• 出力に対するL2相対誤差を用いて性能を評価し、逆問題の場合はパラメータ相対誤差も評価する。

実験結果

リサーチクエスチョン

• RQ1 前方PINN問題の精度に関して、異なる残差点サンプリング戦略はどのように比較されるか。
• RQ2 適応法（RAR-G、RAD、RAR-D）は、解の特性が異なるPDE問題に対して非適応法と比べてどの程度性能が向上するか。
• RQ3 残差点の数と再サンプリング周期がPINNの性能に与える影響はどの程度か。
• RQ4 RADとRAR-Dは非適応アプローチと比較して、逆PINN問題（パラメータ回復）で信頼できる改善を提供できるか。

主な発見

手法	残差点の数	Diffusion	Burgers’	Allen-Cahn	Wave
Grid	30	0.66 ± 0.06%	13.7 ± 2.37%	93.4 ± 6.98%	81.3 ± 13.7%
Random	30	0.74 ± 0.17%	13.3 ± 8.35%	22.2 ± 16.9%	68.4 ± 20.1%
LHS	30	0.48 ± 0.24%	13.5 ± 9.05%	26.6 ± 15.8%	75.9 ± 33.1%
Halton	30	0.24 ± 0.17%	4.51 ± 3.93%	0.29 ± 0.14%	60.2 ± 10.0%
Hammersley	30	0.17 ± 0.07%	3.02 ± 2.98%	0.14 ± 0.14 %	58.9 ± 8.52%
Sobol	30	0.19 ± 0.07%	3.38 ± 3.21%	0.35 ± 0.24%	57.5 ± 14.7%
Random-R	30	0.12 ± 0.06 %	1.69 ± 1.67%	0.55 ± 0.34%	0.72 ± 0.90 %
RAR-G [3]	30	0.20 ± 0.07%	0.12 ± 0.04 %	0.53 ± 0.19%	0.81 ± 0.11%
RAD	30	0.11 ± 0.07 %	0.02 ± 0.00 %	0.08 ± 0.06 %	0.09 ± 0.04 %
RAR-D	30	0.14 ± 0.11 %	0.03 ± 0.01 %	0.09 ± 0.03 %	0.29 ± 0.04 %

• RAD は、検討されたすべての前方および逆問題にわたって10個のサンプリング手法の中で一貫して最良の精度を提供する。
• 複雑または急峻な勾配を持つ解を伴うPDE（例： Burgers’ およびマルチスケール波動方程式）では、RADおよびRAR-Dが残差点を少なくしても精度を著しく向上させる。
• 滑らかなPDE（例：拡散）では、一部の一様法（例：Hammersley, Random-R）も良好な性能を示し、時には同等の誤差を達成する。
• 非適応戦略の中ではRandom-Rが他の固定一様法よりも一般的に優れている。
• 低不連続列（Halton、Hammersley、Sobol）は、残差点が固定されている場合にGrid、LHS、Randomよりもしばしば上回ることが多く、適応設定ではRAD/RAR-Dがさらに利得を提供する。
• 逆問題では、RADとRAR-Dが出力および/またはパラメータに対して最小の誤差を達成し、Grid、Random、LHS、Halton、Hammersley、Sobol、Random-Rを多くのケースで上回る。