[論文レビュー] Stochastic analysis of heterogeneous porous material with modified neural architecture search (NAS) based physics-informed neural networks using transfer learning

Hongwei Guo, Xiaoying Zhuang+1 more|arXiv (Cornell University)|Oct 3, 2020

Model Reduction and Neural Networks参考文献 77被引用数 5

ひとこと要約

本稿では、物理学に基づくニューラルネットワーク（PINNs）と転移学習を統合した、変更を加えたニューラルアーキテクチャ探索（NAS）フレームワークを提案し、不均質な多孔質媒体の効率的かつ高精度な確率的解析を可能にする。水力伝導度場のランダム化スペクトル表現と、誤差推定のための製造された解法（MMS）を活用することで、計算コストを低減しつつ、2次元および3次元のベンチマークにおいて従来手法を上回る高い精度で確率的偏微分方程式（PDE）を解くことが可能になった。

ABSTRACT

In this work, a modified neural architecture search method (NAS) based physics-informed deep learning model is presented for stochastic analysis in heterogeneous porous material. Monte Carlo method based on a randomized spectral representation is first employed to construct a stochastic model for simulation of flow through porous media. To solve the governing equations for stochastic groundwater flow problem, we build a modified NAS model based on physics-informed neural networks (PINNs) with transfer learning in this paper that will be able to fit different partial differential equations (PDEs) with less calculation. The performance estimation strategies adopted is constructed from an error estimation model using the method of manufactured solutions. A sensitivity analysis is performed to obtain the prior knowledge of the PINNs model and narrow down the range of parameters for search space and use hyper-parameter optimization algorithms to further determine the values of the parameters. Further the NAS based PINNs model also saves the weights and biases of the most favorable architectures, then used in the fine-tuning process. It is found that the log-conductivity field using Gaussian correlation function will perform much better than exponential correlation case, which is more fitted to the PINNs model and the modified neural architecture search based PINNs model shows a great potential in approximating solutions to PDEs. Moreover, a three dimensional stochastic flow model is built to provide a benchmark to the simulation of groundwater flow in highly heterogeneous aquifers. The NAS model based deep collocation method is verified to be effective and accurate through numerical examples in different dimensions using different manufactured solutions.

研究の動機と目的

• 高次元の不確実性を伴う不均質な多孔質媒体の確率的解析における計算的課題に対処すること。
• 地下水の流れを支配する確率的偏微分方程式（PDE）を効率的に解く、物理学に基づくディープラーニングモデルの開発。
• ニューラルアーキテクチャ探索（NAS）と転移学習、ハイパーパrameter最適化を統合することで、トレーニングコストを低減し、一般化性能を向上させること。
• PINNベースのシミュレーションにおいて、対数伝導度場における異なる相関構造（ガウス型対比指数型）の性能に与える影響を評価すること。
• 製造された解法（MMS）を用いて、高不均質な含水層における3次元の確率的地下水流れのベンチマークモデルを確立すること。

提案手法

• 指定された相関構造（ガウス型または指数型）を持つ確率的対数伝導度場を生成するために、ランダム化スペクトル表現（RSM）が用いられる。
• 物理学に基づくニューラルネットワーク（PINNs）は、支配方程式と境界条件を損失関数として強制することで、確率的定常流れPDEを解くためにトレーニングされる。
• 最適なニューラルアーキテクチャを自動的に探索するため、修正されたNASフレームワークが提案される。
• 転移学習は、以前に探索されたアーキテクチャの最良の重みとバイアスを再利用することで、新しいシミュレーションにおける収束を加速するために用いられる。
• 感度分析とハイパーパrameter最適化を用いて、探索空間を狭め、モデルの効率を向上させる。
• 誤差推定のため、製造された解法（MMS）が適用され、正確な解を構築し、PINNモデルの厳密な検証が可能になる。

実験結果

リサーチクエスチョン

• RQ1 対数伝導度場における相関構造の選択（ガウス型対比指数型）が、確率的地下水流れシミュレーションにおけるPINNの性能にどのように影響を与えるか。
• RQ2 修正されたNASベースのPINNフレームワークは、確率的PDEを解く際の計算コストを著しく低減しつつ、高い精度を維持できるか。
• RQ3 転移学習は、不均質な材料のPINNベースの確率的シミュレーションにおける収束性と一般化性能をどの程度向上させるか。
• RQ4 提案されたNAS-PINNフレームワークは、複雑な境界条件を有する2次元および3次元の確率的流れ問題の解を近似するのにどの程度有効か。
• RQ5 異なる次元で製造された解法を用いて検証された際、NAS-PINNモデルの精度と頑健性はいかがな状態か。

主な発見

• 対数伝導度場におけるガウス型相関関数は、指数型相関関数よりも著しく優れた性能を示し、PINNフレームワークとの高い適合性を示した。
• 修正されたNAS-PINNモデルは、2次元および3次元の確率的流れ問題において高い精度を達成しており、数値結果が製造された解と密接に一致した。
• 転移学習の統合により、以前に探索された最適な重みとバイアスを再利用することで、トレーニング時間の短縮と収束の向上が達成された。
• 感度分析により、ハイパーパrameterの探索空間が効果的に狭められ、NASプロセスの効率が向上した。
• 3次元の確率的流れモデルは、高不均質な含水層における地下水の流れをシミュレートするための信頼できるベンチマークとして機能する。
• 製造された解法に基づく誤差推定モデルは、複数のテストケースにおいて、提案されたNAS-PINNフレームワークの頑健性と正確性を確認した。