[論文レビュー] A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks

Jia Guo, Haifeng Wang+1 more|arXiv (Cornell University)|Oct 24, 2022

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、時系列的因果関係を適応的配置点選択に組み込むことで、学習効率と精度を向上させる物理則に基づくニューラルネットワーク（PINNs）のための適応的因果的サンプリング手法（ACSM）を提案する。残差に基づく重要度と時系列順序制約を組み合わせることで、最小限の計算コストで相対的$L^2$誤差を最大2桁低減し、特に少数データ環境下で顕著な効果を示す。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have become a kind of attractive machine learning method for obtaining solutions of partial differential equations (PDEs). Training PINNs can be seen as a semi-supervised learning task, in which only exact values of initial and boundary points can be obtained in solving forward problems, and in the whole spatio-temporal domain collocation points are sampled without exact labels, which brings training difficulties. Thus the selection of collocation points and sampling methods are quite crucial in training PINNs. Existing sampling methods include fixed and dynamic types, and in the more popular latter one, sampling is usually controlled by PDE residual loss. We point out that it is not sufficient to only consider the residual loss in adaptive sampling and sampling should obey temporal causality. We further introduce temporal causality into adaptive sampling and propose a novel adaptive causal sampling method to improve the performance and efficiency of PINNs. Numerical experiments of several PDEs with high-order derivatives and strong nonlinearity, including Cahn Hilliard and KdV equations, show that the proposed sampling method can improve the performance of PINNs with few collocation points. We demonstrate that by utilizing such a relatively simple sampling method, prediction performance can be improved up to two orders of magnitude compared with state-of-the-art results with almost no extra computation cost, especially when points are limited.

研究の動機と目的

• 既存の適応的サンプリング手法が時系列的因果関係を無視するという限界を是正し、少数データ環境下での性能劣化を是正すること。
• 高次導関数と強い非線形性を有する時間依存PDEを解く際のPINNsの一般化性能と効率を向上させること。
• 解の進化の時系列順序を尊重するサンプリング戦略を提案し、従来の数値解法に類似した挙動を再現すること。
• サンプリングにおける因果関係の強制が、最小限の計算コストで予測精度を顕著に向上させることを示すこと。
• Cahn-Hilliard方程式やKdV方程式といった挑戦的なPDEに対して、制限された配置点数下で本手法の有効性を検証すること。

提案手法

• 本手法は、時間的因果関係重みを導入し、初期の時間サブドメインに優先的にサンプリングを行うことで、解が時系列順に学習されるようにする。
• 配置点は、PDEの残差損失と時間的因果関係重みの両方を組み合わせた基準に基づき適応的に選択される。
• 空間時間ドメインは$n_t = 10$個の時間サブドメインに分割され、以前の時間から順次サンプリングが実施される。
• 適応的サンプリング戦略は、高残差領域に注目しつつも、時間順序を尊重する動的選択メカニズムを用いる。
• 損失関数には初期・境界条件の損失とPDE残差損失が含まれ、後者は残差の大きさと時間的因果関係重みの両方で重み付けされる。
• 本手法は標準的なPINNアーキテクチャ（4×128の全結合層）を採用し、$1 \times 10^5$イテレーションにわたりADAMで最適化される。

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリングに時系列的因果関係を強制することで、時間依存PDEに対するPINNの性能が向上するか？
• RQ2 因果関係に配慮したサンプリング戦略は、精度を損なわず、必要な配置点数を削減できるか？
• RQ3 本手法は、最先端の適応的および固定サンプリング手法と比較して、誤差と効率の面で優れているか？
• RQ4 少数の配置点しか利用できない状況でも、本手法は高い性能を維持できるか？
• RQ5 本手法は、高次導関数と強い非線形性を有する他のPDEに対しても一般化可能か？

主な発見

• KdV方程式において、ACSMは300個の配置点でのみ、相対的$L^2$誤差を$5.662 \times 10^{-2}$まで低減した。標準PINN（$5.348 \times 10^{-1}$）を1桁以上上回り、顕著な性能向上を示した。
• Cahn-Hilliard方程式（ケース1）において、ACSMは少数の配置点で相対的$L^2$誤差$10^{-3}$を達成したが、他の手法は$10^{-1}$または$10^{0}$のオーダーにとどまっていた。
• 少数データ条件下で、最先端のサンプリング手法と比較し、予測精度を最大2桁向上させた。
• 高数の配置点数でも、他の手法と同等の性能を維持しており、データスケールにわたる頑健性を示した。
• ACSMの計算コストはベースライン手法とほとんど同一であり、トレーニング時間やリソース使用量に顕著な増加は認められなかった。
• 結果から、データ効率と計算コストが重要な大規模・高次元PDEの解法における強力な潜在的応用が示された。