[논문 리뷰] Physics Informed Deep Learning for Flow and Transport in Porous Media

Cédric Fraces Gasmi, Hamdi A. Tchelepi|arXiv (Cornell University)|2021. 04. 06.

Reservoir Engineering and Simulation Methods참고 문헌 25인용 수 6

한 줄 요약

이 논문은 다공성 매질 내 유동 및 이동의 지배 방정식인 버클리-레버렛 방정식을 만족하도록 훈련된 신경망을 사용하는 물리 기반 딥러닝 프레임워크를 제시한다. 물리 법칙과 경계 조건을 손실 함수에 직접 통합함으로써, 모델은 1차원 및 2차원 초구형 문제에서 충격파와 희박파를 정확하게 포착하며, 불연속성에도 불구하고 안정적인 수렴을 보이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present our progress on the application of physics informed deep learning to reservoir simulation problems. The model is a neural network that is jointly trained to respect governing physical laws and match boundary conditions. The methodology is hereby used to simulate a 2-phase immiscible transport problem (Buckley-Leverett). The model is able to produce an accurate physical solution both in terms of shock and rarefaction and honors the governing partial differential equation along with initial and boundary conditions. We test various hypothesis (uniform and non-uniform initial conditions) and show that with the proper implementation of physical constraints, a robust solution can be trained within a reasonable amount of time and iterations. We revisit some of the limitations presented in previous work \cite{Fuks2020} and further the applicability of this method in a forward, pure hyperbolic setup. We also share some practical findings on the application of physics informed neural networks (PINN). We review various network architectures presented in the literature and show tips that helped improve their convergence and accuracy. The proposed methodology is a simple and elegant way to instill physical knowledge to machine-learning algorithms. This alleviates the two most significant shortcomings of machine-learning algorithms: the requirement for large datasets and the reliability of extrapolation. The principles presented can be generalized in innumerable ways in the future and should lead to a new class of algorithms to solve both forward and inverse physical problems.

연구 동기 및 목표

• 복잡한 물리 법칙과 제한된 데이터를 가진 지구 시스템에 대해 강건하고 물리적으로 일관된 기계학습 방법의 부족을 해결하기 위해.
• 훈련 과정에서 보존 법칙과 경계 조건을 직접 강제하는 딥러닝 프레임워크를 개발하기 위해.
• 대규모 레이블이 부여된 데이터셋이 필요 없이도, 지하 유동 시뮬레이션에서 기계학습 모델의 일반화 및 신뢰성을 향상시키기 위해.
• 불연속적인 해를 가진 비선형 초구형 PDE, 예를 들어 버클리-레버렛 문제에 대해 이 방법의 효과성을 입증하기 위해.
• 물리 기반 신경망(PINNs)의 수렴성과 정확도를 향상시키는 데 기여하는 아키텍처 및 훈련 전략을 탐색하기 위해.

제안 방법

• 유한차분법 기반의 복합 손실 함수를 최소화함으로써, 버클리-레버렛 PDE의 해를 근사하는 딥 네ural 웹을 훈련한다. 이 손실 함수에는 잔여 PDE 항, 초기 조건, 경계 조건이 포함된다.
• 손실 함수는 특히 불연속성에서 물리적으로 타당한 해를 보장하기 위해 엔트로피 조건과 유량 연속성과 같은 물리적 제약 조건을 포함한다.
• 투과도 필드는 유량 해와 함께 공동으로 훈련되는 신경망 대체 모델로 모델링되며, 임의의 기울기 역전파를 방지함으로써 잡음 요소를 피한다.
• 푸리에 네트워크, DGM, SiRen(주기적 네트워크)와 같은 다양한 네트워크 아키텍처를 평가하였으며, 이 문제에 대해 단순한 완전 연결 네트워크가 가장 뛰어난 성능을 보였다.
• 그리드 기반의 점추출 기반 접근 방식을 통해 공간과 시간 전역에서 점들을 샘플링함으로써, 각 훈련 반복에서 전체 도메인 최적화가 가능하다.
• 손실 구성 요소의 적절한 가중치 조정과 엔트로피 제약 조건의 구현이 훈련의 안정성과 수렴 성능 향상에 매우 중요하다.

Figure 1: Results of saturation inference computed using the PINN approach (dashed red) conditioned on the weak form of the hyperbolic problem. The reference solution using MOC is plotted in blue

실험 결과

연구 질문

• RQ1 물리 기반 신경망은 다공성 매질의 유동에서 충격파와 희박파를 포함한 비선형 초구형 PDE를 불연속적인 해를 가질 때도 정확하게 시뮬레이션할 수 있는가?
• RQ2 푸리에, SiRen, DGM 등의 다양한 신경망 아키텍처는 버클리-레버렛 문제 해결에서 정확도와 수렴성 측면에서 어떻게 비교되는가?
• RQ3 엔트로피 조건과 유량 연속성과 같은 물리적 제약 조건은 훈련의 안정성과 해의 정확도 향상에 어떤 역할을 하는가?
• RQ4 대규모 레이블이 부여된 데이터가 없이도 PINNs는 비균일한 초기 조건과 복잡한 비균질성을 가진 문제에 효과적으로 일반화할 수 있는가?
• RQ5 유량 해와 투과도 필드 대체 모델을 공동으로 훈련시키는 것은 해의 품질과 훈련의 안정성에 어떤 영향을 미치는가?

주요 결과

• 모델은 1차원 버클리-레버렛 문제에서 충격파와 희박파를 고정밀도로 포착하여 새로운 최신 기술 수준의 성능을 달성했다.
• 엔트로피 조건과 적절한 손실 가중치 조정을 통합함으로써 훈련 수렴성이 크게 향상되었으며, 특히 날카로운 불연속성이 존재할 경우 두드러진 효과를 보였다.
• 2차원 시뮬레이션은 테슬라 V100 GPU에서 약 400,000회 반복과 3시간의 훈련 시간이 소요되었으며, 각 반복에서 전체 공간-시간 도메인을 처리했다.
• 대체 투과도 네트워크를 통한 기울기 전파를 방지함으로써 투과도 필드의 잡음 요소를 피할 수 있었으며, 이로 인해 고정된 성질을 유지할 수 있었다.
• 이 문제에 대해 복잡한 아키텍처인 푸리에 및 SiRen 네트워크보다 단순한 완전 연결 네트워크가 더 뛰어난 성능을 보였으며, 이는 아키텍처의 단순성이 유리할 수 있음을 시사한다.
• 각 반복에서 전체 도메인 최적화가 이루어지므로, 전체 훈련 완료 전에도 조기에 추론이 가능해졌으며, 이는 실시간 응용에 유리하다.

Figure 2: Triple-Valued Saturation Distribution (Source Buckley and Leverett, 1942 [ 5 ] )