[論文レビュー] Physics-informed Neural Networks with Periodic Activation Functions for Solute Transport in Heterogeneous Porous Media

Salah A Faroughi, Soltanmohammad, Ramin+3 more|arXiv (Cornell University)|Dec 17, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本研究では、疎かに不均質な多孔質媒体における拡散移動方程式に従う溶質移動シミュレーションを高速化するため、周期的活性化関数（sin）を用いた物理則統合型ニューラルネットワーク（PiNNs）を提案する。物理法則を損失関数に直接埋め込み、sin活性化関数を用いることで、tanhベースのPiNNと比較して最大2桁の高い精度と2倍の高速な学習が達成され、有限要素法（FEM）と比較して推論時間を3桁短縮した。

ABSTRACT

Simulating solute transport in heterogeneous porous media poses computational challenges due to the high-resolution meshing required for traditional solvers. To overcome these challenges, this study explores a mesh-free method based on deep learning to accelerate solute transport simulation. We employ Physics-informed Neural Networks (PiNN) with a periodic activation function to solve solute transport problems in both homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that rely on large training datasets, PiNNs use strong-form mathematical models to constrain the network in the training phase and simultaneously solve for multiple dependent or independent field variables, such as pressure and solute concentration fields. To demonstrate the effectiveness of using PiNNs with a periodic activation function to resolve solute transport in porous media, we construct PiNNs using two activation functions, sin and tanh, for seven case studies, including 1D and 2D scenarios. The accuracy of the PiNNs' predictions is then evaluated using absolute point error and mean square error metrics and compared to the ground truth solutions obtained analytically or numerically. Our results demonstrate that the PiNN with sin activation function, compared to tanh activation function, is up to two orders of magnitude more accurate and up to two times faster to train, especially in heterogeneous porous media. Moreover, PiNN's simultaneous predictions of pressure and concentration fields can reduce computational expenses in terms of inference time by three orders of magnitude compared to FEM simulations for two-dimensional cases.

研究の動機と目的

• 高解像度メッシュ要件による従来のソルバー（例：FEM）の計算非効率性を是正すること。
• 物理法則を直接ニューラルネットワークの学習に統合するメッシュフリーな深層学習アプローチを構築し、正確かつ効率的なシミュレーションを実現すること。
• 溶質濃度および圧力場の予測において、周期的（sin）と非周期的（tanh）活性化関数を用いたPiNNの性能を比較評価すること。
• 圧力場と濃度場の両方を一度のPiNNフレームワーク内で高精度かつ低推論コストで同時に予測できる能力を実証すること。
• 反復的ランダムサーチによるハイパーパrameterチューニングを用いて、複雑な不均質領域における最適なハイパーパrameterを特定し、収束安定性を評価すること。

提案手法

• 偏微分方程式（PDE）、初期条件、境界条件を自動微分を用いて損失関数に組み込む物理則統合型ニューラルネットワーク（PiNNs）を採用する。
• 溶質移動モデリングに適した周期的活性化関数（sin）と標準的なtanh活性化関数を、PiNNアーキテクチャで比較する。
• PDEの残差項、初期条件、境界条件から成る損失関数を用い、競合する損失項をバランスさせるために適応的重み付けを行う。
• 1つのPiNNフレームワーク内で圧力場と溶質濃度場を同時に予測することで、計算コストを低減する。
• 各ケーススタディに対して、反復的ランダムサーチによるハイパーパrameterチューニングを実施し、ネットワークアーキテクチャとハイパーパrameterを最適化する。
• 絶対誤差および平均二乗誤差を指標として、解析解または高精度なFEMシミュレーションと照合して予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 活性化関数の選択（sin 対 tanh）が、不均質な多孔質媒体における溶質移動シミュレーションにおけるPiNNの精度および学習速度に与える影響は何か？
• RQ2 周期的活性化関数を用いたPiNNは、複雑な流れ構造を示す不均質な多孔質媒体において、標準的なPiNNと比較してより高い精度と高速な収束を達成できるか？
• RQ3 PiNNは、従来のFEMソルバーと比較して、圧力場と濃度場の両方を同時に予測するにあたり、どれほど推論時間を短縮できるか？
• RQ4 不均質領域における多変数問題のPiNN学習において、計算的および収束上の課題は何か。それらはどのように緩和できるか？
• RQ5 PiNNの推論高速化は、多孔質媒体におけるメッシュ解像度および不均質性レベルの変化に伴い、どのようにスケーリングするか？

主な発見

• すべての1次元および2次元ケーススタディにおいて、sin活性化関数を用いたPiNNは、tanhベースのPiNNと比較して最大2桁の高い精度を達成した。
• sinベースのPiNNは、特に複雑な流れパターンを示す不均質媒体において、tanhベースのPiNNと比較して最大2倍の高速な学習が可能だった。
• 2次元均一な多孔質媒体では、PiNNの推論がFEMと比較して最大1,458.7倍高速であり、不均質なケースでは1,399.6倍から1,402.3倍の高速化が達成された。
• 2次元ケースにおいて、PiNNを用いて圧力場と濃度場を同時に予測することで、FEMと比較して推論時間が3桁短縮された。
• 性能向上にもかかわらず、PiNNの学習には勾配消失や不安定性の課題があり、競合する損失項の影響を受けるため、慎重なハイパーパrameterチューニングが不可欠であった。
• 本手法は、透水率の不均質性の程度が異なる状況においても、高いロバスト性を示し、明確な長尺度と複雑な流れネットワークを持つ領域でも高い精度を維持した。