[논문 리뷰] Stochastic analysis of heterogeneous porous material with modified neural architecture search (NAS) based physics-informed neural networks using transfer learning

Hongwei Guo, Xiaoying Zhuang외 1명|arXiv (Cornell University)|2020. 10. 03.

Model Reduction and Neural Networks참고 문헌 77인용 수 5

한 줄 요약

이 논문은 물리 기반 신경망(PINNs)과 전이 학습을 통합한 수정된 신경망 아키텍처 탐색(NAS) 프레임워크를 제안하여 이방성 다孔성 매체의 효율적이고 정확한 확률적 분석을 가능하게 한다. 수압 기여도 필드의 무작위 스펙트럼 표현과 오차 평가를 위한 제조된 방법(MMS)을 활용함으로써, 이 방법은 계산 비용을 줄이며 지하수 유동에 대한 확률적 편미분방정식(PDE)을 높은 정확도로 해결하며, 2D 및 3D 벤치마크에서 전통적 방법을 능가한다.

ABSTRACT

In this work, a modified neural architecture search method (NAS) based physics-informed deep learning model is presented for stochastic analysis in heterogeneous porous material. Monte Carlo method based on a randomized spectral representation is first employed to construct a stochastic model for simulation of flow through porous media. To solve the governing equations for stochastic groundwater flow problem, we build a modified NAS model based on physics-informed neural networks (PINNs) with transfer learning in this paper that will be able to fit different partial differential equations (PDEs) with less calculation. The performance estimation strategies adopted is constructed from an error estimation model using the method of manufactured solutions. A sensitivity analysis is performed to obtain the prior knowledge of the PINNs model and narrow down the range of parameters for search space and use hyper-parameter optimization algorithms to further determine the values of the parameters. Further the NAS based PINNs model also saves the weights and biases of the most favorable architectures, then used in the fine-tuning process. It is found that the log-conductivity field using Gaussian correlation function will perform much better than exponential correlation case, which is more fitted to the PINNs model and the modified neural architecture search based PINNs model shows a great potential in approximating solutions to PDEs. Moreover, a three dimensional stochastic flow model is built to provide a benchmark to the simulation of groundwater flow in highly heterogeneous aquifers. The NAS model based deep collocation method is verified to be effective and accurate through numerical examples in different dimensions using different manufactured solutions.

연구 동기 및 목표

• 고차원 불확실성을 지닌 이방성 다孔성 매체의 확률적 분석에서 발생하는 계산 과제를 해결하기 위해.
• 지하수 유동을 지배하는 확률적 편미분방정식(PDE)을 효율적으로 해결할 수 있는 물리 기반 딥 러닝 모델을 개발하기 위해.
• 신경망 아키텍처 탐색(NAS)과 전이 학습 및 하이퍼파ram터 최적화를 통합하여 학습 비용을 줄이고 일반화 능력을 향상시키기 위해.
• PINN 기반 시뮬레이션에서 로그 기여도 필드의 다양한 상관 구조(Gaussian 대비 지수형)의 성능을 평가하기 위해.
• 제조된 솔루션을 사용하여 고도로 이방성 옹호에서의 확률적 지하수 유동을 위한 3D 벤치마크 모델을 수립하기 위해.

제안 방법

• 지정된 상관 구조(Gaussian 또는 지수형)를 가진 확률적 로그 기여도 필드를 생성하기 위해 무작위 스펙트럼 표현(RSM)을 사용한다.
• 지배 방정식과 경계 조건을 손실 함수로 강제하여, 물리 기반 신경망(PINNs)을 사용해 확률적 정 steady 상태 흐름 PDE를 푼다.
• 수동적인 하이퍼파ram터 튜닝이 필요 없도록 최적의 신경망 아키텍처를 자동으로 탐색하기 위해 수정된 NAS 프레임워크를 제안한다.
• 이전에 탐색된 아키텍처에서 최고 성능을 보인 가중치와 편향을 재사용함으로써, 새로운 시뮬레이션에서 수렴 속도를 가속화하기 위해 전이 학습을 적용한다.
• 감도 분석과 하이퍼파ram터 최적화를 통해 검색 공간을 좁혀 모델 효율성을 향상시킨다.
• 정확한 솔루션을 구성하고 오차를 추정하기 위해 제조된 방법(MMS)을 적용하여 PINN 모델의 엄밀한 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로그 기여도 필드에서 상관 구조(Gaussian 대비 지수형)의 선택이 PINN 기반 확률적 지하수 유동 시뮬레이션 성능에 미치는 영향은 무엇인가?
• RQ2 수정된 NAS 기반 PINN 프레임워크가 다孔성 매체에 대한 확률적 PDE를 해결하는 데 있어 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ3 전이 학습이 이방성 재료의 PINN 기반 확률적 시뮬레이션에서 수렴 및 일반화 능력을 얼마나 향상시키는가?
• RQ4 제안된 NAS-PINN 프레임워크는 복잡한 경계 조건을 가진 2D 및 3D 확률적 흐름 문제의 해를 근사하는 데 얼마나 효과적인가?
• RQ5 다양한 차원에서 제조된 솔루션에 기반한 검증을 통해 NAS-PINN 모델의 정확도와 강건성은 어떠한가?

주요 결과

• 로그 기여도 필드에서 가우시안 상관 함수는 지수 상관 함수보다 유의미하게 뛰어난 성능을 보이며, PINN 프레임워크와의 우수한 호환성을 입증한다.
• 수정된 NAS-PINN 모델은 2D 및 3D 확률적 흐름 문제를 높은 정확도로 해결하며, 수치 결과가 제조된 솔루션과 매우 가까이 일치한다.
• 전이 학습의 통합은 이전 아키텍처에서 최적의 가중치와 편향을 재사용함으로써 학습 시간을 단축시키고 수렴을 향상시킨다.
• 감도 분석은 하이퍼파ram터 검색 공간을 성공적으로 좁혀 NAS 과정의 효율성을 향상시켰다.
• 3D 확률적 흐름 모델은 고도로 이방성 옹호에서 지하수 유동을 시뮬레이션하기 위한 신뢰할 수 있는 벤치마크로 기능한다.
• 제조된 솔루션에 기반한 오차 추정 모델은 다양한 테스트 케이스에서 제안된 NAS-PINN 프레임워크의 강건성과 정확성을 확인한다.