[논문 리뷰] Stochastic groundwater flow analysis in heterogeneous aquifer with modified neural architecture search (NAS) based physics-informed neural networks using transfer learning.

Hongwei Guo, Xiaoying Zhuang외 2명|arXiv (Cornell University)|2020. 10. 03.

Model Reduction and Neural Networks인용 수 3

한 줄 요약

이 논문은 이종 다공질 암반에서의 확률적 지하수 유량 문제를 효율적으로 해결하기 위해 전이 학습을 통합한 수정된 신경망 구조 탐색(NAS) 기반 물리 기반 신경망(PINN)을 제안한다. 몽테카를로 시뮬레이션과 섭동 이론을 결합하여 불확실성 정량화를 수행하고, 제조된 해법의 방법을 통해 오차 추정을 실시함으로써, 다양한 차원과 PDE 유형에서 높은 정확도를 유지하면서도 계산 비용을 감소시킨다.

ABSTRACT

In this work, a modified neural architecture search method (NAS) based physics-informed deep learning model is presented to solve the groundwater flow problems in porous media. Monte Carlo method based on a randomized spectral representation is first employed to construct a stochastic model for simulation of flow through porous media. The desired hydraulic conductivity fields are assumed to be log-normally distributed with exponential and Gaussian correlations. To analyze the Darcy equation with the random hydraulic conductivity in this case when its intensity of fluctuations is small, the lowest-order perturbation theory is used to reduce the difficulty of calculations, by neglecting the higher-order nonlinear part. To solve the governing equations for groundwater flow problem, we build a modified NAS model based on physics-informed neural networks (PINNs) with transfer learning in this paper that will be able to fit different partial differential equations (PDEs) with less calculation. The performance estimation strategies adopted is constructed from an error estimation model using the method of manufactured solutions. Since the configuration selection of the neural network has a strong influence on the simulation results, we apply sensitivity analysis to obtain the prior knowledge of the PINNs model and narrow down the range of parameters for search space and use hyper-parameter optimization algorithms to further determine the values of the parameters. Further the NAS based PINNs model also saves the weights and biases of the most favorable architectures, which is then used in the fine-tuning process. The proposed NAS model based deep collocation method is verified to be effective and accurate through numerical examples in different dimensions using different manufactured solutions.

연구 동기 및 목표

• 불확실한 수리 전도도를 가진 이종 다공질 매체에서의 확률적 지하수 유량 문제를 해결하는 데 있어 계산적 과제를 해결하기 위해.
• 경계 조건과 초기 조건이 다양하게 변화하는 편미분방정식(PDE)에 대해 물리 기반 신경망(PINN)을 훈련시키는 데 소요되는 높은 계산 비용을 줄이기 위해.
• 전이 학습과 하이퍼파rameter 최적화를 활용하여 PINN 훈련의 일반화 능력과 효율성을 향상시키기 위해.
• PDE 기반 지하수 유량 시뮬레이션에 특화된 강력하고 자동화된 신경망 구조 탐색 전략을 개발하기 위해.

제안 방법

• 수리 전도도 필드에 대해 랜덤화된 스펙트럼 표현을 사용한 몽테카를로 시뮬레이션을 통해 확률 모델을 구축하며, 이는 로그정규분포와 지수/가우시안 상관 구조를 가정한다.
• 수리 전도도의 변동 폭이 작을 경우 최저차수 섭동 이론을 사용하여 다르시 흐름 방정식을 선형화함으로써 문제를 단순화한다.
• PDE를 해결하기 위한 최적의 신경망 아키텍처를 자동으로 탐색하기 위해 수정된 NAS 프레임워크를 개발한다. 이는 수동적인 하이퍼파rameter 튜닝을 감소시킨다.
• 기존에 확보된 최적 아키텍처에서의 학습된 가중치와 편향을 재사용함으로써 전이 학습을 적용하여 새로운 PDE 구성에 대한 미세조정을 가속화한다.
• 제조된 해법의 방법을 사용하여 성능 평가를 실시함으로써 아키텍처 탐색을 안내하는 오차 추정 모델을 구축한다.
• 감도 분석을 통해 검색 공간을 좁혀 하이퍼파rameter 범위를 조정하고 검색 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수정된 NAS 기반 PINN 프레임워크는 불확실한 수리 전도도를 가진 이종 다공질 암반에서의 확률적 지하수 유량 문제를 효과적이고 효율적으로 해결할 수 있는가?
• RQ2 전이 학습과 하이퍼파rameter 최적화의 통합은 PDE를 풀기 위한 PINN의 수렴성과 정확도를 어떻게 향상시키는가?
• RQ3 섭동 이론의 사용은 확률적 흐름 시뮬레이션에서 계산 복잡도를 얼마나 줄일 수 있으며, 해의 정확도는 유지되는가?
• RQ4 제조된 해법의 방법에 기반한 오차 추정 모델은 PINN의 아키텍처 탐색의 신뢰성은 어떻게 향상시키는가?
• RQ5 제안된 NAS-PINN 프레임워크는 재학습 없이도 다양한 차원과 PDE 구성에 일반화될 수 있는가?

주요 결과

• 제안된 NAS-PINN 프레임워크는 아키텍처 탐색 자동화와 전이 학습을 통한 가속화로 인해 계산 비용을 크게 감소시켰다.
• 감도 분석과 하이퍼파arameter 최적화의 통합은 검색 공간을 좁혀 NAS 과정의 효율성과 강건성을 향상시켰다.
• 제조된 해법을 사용한 검증을 통해 다양한 차원에서의 여러 수치 예제에서 높은 정확도를 달성하였다.
• 제조된 해법의 방법에 기반한 오차 추정 모델은 아키텍처 선택을 효과적으로 안내하고 해의 신뢰성을 향상시켰다.
• 이 프레임워크는 강력한 일반화 능력을 보이며, 다양한 PDE 구성에 대해 학습된 가중치와 편향을 재사용할 수 있어 최소한의 재학습으로도 활용이 가능하다.