[論文レビュー] Stochastic groundwater flow analysis in heterogeneous aquifer with modified neural architecture search (NAS) based physics-informed neural networks using transfer learning.

Hongwei Guo, Xiaoying Zhuang+2 more|arXiv (Cornell University)|Oct 3, 2020

Model Reduction and Neural Networks被引用数 3

ひとこと要約

本稿では、異方性の地下水流れ問題を能率的に解くために、転移学習を組み合わせた修正されたニューラルアーキテクチャ探索（NAS）に基づく物理情報付きニューラルネットワーク（PINN）を提案する。モンテカルロシミュレーションと摂動理論を用いた不確実性の定量化と、マニュフェイスト・ソリューション法による誤差推定を組み合わせることで、複数の次元およびPDEの種類にわたり、計算コストを低減しつつ高い精度を維持する。

ABSTRACT

In this work, a modified neural architecture search method (NAS) based physics-informed deep learning model is presented to solve the groundwater flow problems in porous media. Monte Carlo method based on a randomized spectral representation is first employed to construct a stochastic model for simulation of flow through porous media. The desired hydraulic conductivity fields are assumed to be log-normally distributed with exponential and Gaussian correlations. To analyze the Darcy equation with the random hydraulic conductivity in this case when its intensity of fluctuations is small, the lowest-order perturbation theory is used to reduce the difficulty of calculations, by neglecting the higher-order nonlinear part. To solve the governing equations for groundwater flow problem, we build a modified NAS model based on physics-informed neural networks (PINNs) with transfer learning in this paper that will be able to fit different partial differential equations (PDEs) with less calculation. The performance estimation strategies adopted is constructed from an error estimation model using the method of manufactured solutions. Since the configuration selection of the neural network has a strong influence on the simulation results, we apply sensitivity analysis to obtain the prior knowledge of the PINNs model and narrow down the range of parameters for search space and use hyper-parameter optimization algorithms to further determine the values of the parameters. Further the NAS based PINNs model also saves the weights and biases of the most favorable architectures, which is then used in the fine-tuning process. The proposed NAS model based deep collocation method is verified to be effective and accurate through numerical examples in different dimensions using different manufactured solutions.

研究の動機と目的

• 不確実な水力伝達度を有する不均一な多孔質媒体における確率的地下水流れ問題を解く際の計算上の課題に対処すること。
• 境界条件および初期条件が変化する偏微分方程式（PDE）に対して、物理情報付きニューラルネットワーク（PINN）の学習にかかる高コストを低減すること。
• 転移学習とハイパーパrameter最適化を活用することで、PINNの学習における汎化性能と効率性を向上させること。
• PDEに基づく地下水流れシミュレーションに特化した、堅牢で自動化されたニューラルアーキテクチャ探索戦略の開発

提案手法

• 水力伝達度フィールドに対して、ランダム化されたスペクトル表現を用いたモンテカルロシミュレーションを実施し、対数正規分布および指数関数的／ガウス型相関構造を仮定して確率的モデルを構築する。
• 伝達度の摂動が小さい場合に適応する最低次の摂動理論を用いてダルシー流動方程式を線形化し、問題を簡略化する。
• PDEを解くための最適なニューラルネットワークアーキテクチャを自動的に探索するための修正されたNASフレームワークを開発する。これにより、手動によるハイパーパrameterチューニングを削減する。
• 事前に特定された最適なアーキテクチャから得た重みとバイアスを再利用することで、新しいPDE設定におけるファインチューニングを高速化する転移学習を適用する。
• マニュフェイスト・ソリューション法を用いて誤差推定モデルを構築し、アーキテクチャ探索を支援する性能評価を実施する。
• 感度分析を用いて探索空間を制限し、ハイパーパrameterの範囲を狭め、探索の効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 修正されたNASベースのPINNフレームワークは、不確実な水力伝達度を有する不均一な含水層における確率的地下水流れ問題を、効果的かつ能率的に解くことができるか？
• RQ2 転移学習とハイパーパrameter最適化を統合することで、地下水流れのPDEを解く際のPINNの収束性と精度がどのように向上するか？
• RQ3 摂動理論を用いることで、計算複雑性はどの程度低減され、同時に解の精度は保持されるのか？
• RQ4 マニュフェイスト・ソリューション法に基づく誤差推定モデルは、PINNにおけるアーキテクチャ探索の信頼性をどの程度向上させるか？
• RQ5 提案されたNAS-PINNフレームワークは、再訓練を一切行わずに、異なる次元およびPDE設定に一般化可能か？

主な発見

• 提案されたNAS-PINNフレームワークは、アーキテクチャ探索の自動化と転移学習の活用により、計算コストを顕著に低減し、収束を高速化する。
• 感度分析とハイパーパrameter最適化の統合により、探索空間が狭められ、NASプロセスの効率性と頑健性が向上する。
• マニュフェイスト・ソリューションを用いた検証により、異なる次元における多数の数値例において高い精度が達成された。
• マニュフェイスト・ソリューション法に基づく誤差推定モデルは、アーキテクチャ選定を効果的に支援し、解の信頼性を向上させる。
• フレームワークは強力な一般化能力を示し、多様なPDE設定において学習済みの重みとバイアスを再利用可能であり、最小限の再トレーニングで運用可能である。