[논문 리뷰] Fourier-MIONet: Fourier-enhanced multiple-input neural operators for multiphase modeling of geological carbon sequestration

Zhongyi Jiang, Min Zhu외 1명|arXiv (Cornell University)|2023. 03. 08.

CO2 Sequestration and Geologic InteractionsEnvironmental Science인용 수 3

한 줄 요약

이 논문은 지질학적 이산화탄소 저장을 위한 다상유동의 해석 연산자를 효율적으로 학습하는 푸리에 강화 다중입력 신경 연산자인 Fourier-MIONet을 제안한다. MIONet 프레임워크에 U-Fourier 신경 연산자(U-FNO)를 통합함으로써, U-FNO 대비 90% 적은 파라미터, 3.5배 빠른 학습 속도, CPU 메모리 85% 감소 및 GPU 메모리 64% 감소를 달성하면서도, 단지 6개의 시간 스텝만으로도 30년치 시뮬레이션을 높은 정확도와 일반화 능력으로 예측할 수 있다. 이는 PDE 해의 물리적 연속성 덕분이다.

ABSTRACT

Geologic carbon sequestration (GCS) is a safety-critical technology that aims to reduce the amount of carbon dioxide in the atmosphere, which also places high demands on reliability. Multiphase flow in porous media is essential to understand CO$_2$ migration and pressure fields in the subsurface associated with GCS. However, numerical simulation for such problems in 4D is computationally challenging and expensive, due to the multiphysics and multiscale nature of the highly nonlinear governing partial differential equations (PDEs). It prevents us from considering multiple subsurface scenarios and conducting real-time optimization. Here, we develop a Fourier-enhanced multiple-input neural operator (Fourier-MIONet) to learn the solution operator of the problem of multiphase flow in porous media. Fourier-MIONet utilizes the recently developed framework of the multiple-input deep neural operators (MIONet) and incorporates the Fourier neural operator (FNO) in the network architecture. Once Fourier-MIONet is trained, it can predict the evolution of saturation and pressure of the multiphase flow under various reservoir conditions, such as permeability and porosity heterogeneity, anisotropy, injection configurations, and multiphase flow properties. Compared to the enhanced FNO (U-FNO), the proposed Fourier-MIONet has 90% fewer unknown parameters, and it can be trained in significantly less time (about 3.5 times faster) with much lower CPU memory ($<$ 15%) and GPU memory ($<$ 35%) requirements, to achieve similar prediction accuracy. In addition to the lower computational cost, Fourier-MIONet can be trained with only 6 snapshots of time to predict the PDE solutions for 30 years. The excellent generalizability of Fourier-MIONet is enabled by its adherence to the physical principle that the solution to a PDE is continuous over time.

연구 동기 및 목표

• 다공질 매체 내 다상유동을 시뮬레이션하는 데 있어 기존의 유체 시뮬레이터와 기존 딥러닝 모델의 높은 계산 비용과 데이터 비효율성 문제를 해결하기 위해.
• 비균일하고 이방성인 저류에서 다양한 주입 조건과 암석 성질에 대응하여 CO2 이동 및 압력장의 실시간 예측을 가능하게 하는 서rogate 모델을 개발하기 위해.
• 장기적 시뮬레이션(예: 30년)에 대해 높은 정확도를 유지하면서도 학습 데이터 요구량과 계산 자원을 줄이기 위해.
• 시간에 따른 PDE 해의 물리적 연속성을 활용하여 예측 불가능한 시간 포인트에 대한 일반화 능력을 향상시키기 위해.
• 대규모 지질 구조에서 4차원(3차원 공간 + 시간) 다상유동 문제에 대해 확장 가능하고 저메모리 추론을 가능하게 하기 위해.

제안 방법

• 다양한 도메인에 정의된 다중 입력 함수(예: 투과도, 다공도, 주입률)를 처리할 수 있도록 다중입력 신경 연산자(MIONet) 프레임워크와 U-Fourier 신경 연산자(U-FNO)를 통합한다.
• 입력 함수를 인코딩하기 위한 트렁크 네트워크와 스펙트럼 공간에서 해석 연산자를 학습하기 위한 푸리에 기반 병합 네트워크(3D 또는 2D FFT 사용)를 활용한다.
• 초기 시간대에는 밀도가 높은 스텝, 후기 시간대에는 희소한 스텝을 사용하는 비균일한 시간 샘플링을 적용하여 예측 불가능한 시간 포인트에 대한 일반화 능력을 향상시킨다.
• PDE 해가 시간에 따라 연속적이라는 물리 원리를 활용하여 추가 데이터 없이도 일반화 능력을 향상시킨다.
• 모든 시뮬레이션 케이스에서 단지 6개의 시간 스텝만을 사용하여 모델을 학습함으로써 데이터 및 계산 요구량을 크게 줄인다.
• 트렁크 네트워크에서 z좌표와 시간을 함께 인코딩할 경우 4D FFT 대신 2D FFT를 사용하여 메모리 사용량을 최적화한다.

실험 결과

연구 질문

• RQ1 지질학적 이산화탄소 저장을 위한 비균일한 다공질 매체에서 장기적인 다상유동을 효율적이고 정확하게 시뮬레이션할 수 있는 딥 뉴럴 연산자를 설계할 수 있는가?
• RQ2 4차원 PDE 시뮬레이션에서 예측 정확도를 유지하면서 계산 비용과 데이터 요구량을 어떻게 줄일 수 있는가?
• RQ3 비균일한 시간 샘플링은 PDE 해 학습에서 예측 불가능한 시간 포인트에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ4 PDE 해의 물리적 연속성은 얼마나 활용하여 최소한의 학습 데이터로도 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 아키텍처는 최신 기술 대비 상당히 낮은 메모리 및 파라미터 사용량으로 대규모 3D+시간 문제에 대해 확장 가능한가?

주요 결과

• Fourier-MIONet는 U-FNO 대비 학습 가능한 파라미터 수를 90% 감소시켜 4667만 개에서 468만 개로 줄였다.
• CPU 메모리 사용량은 U-FNO 대비 85% 감소하고 GPU 메모리 사용량은 64% 감소했으며, GPU 메모리 사용량은 기준선의 30% 미만으로 내려갔다.
• 학습 속도는 U-FNO 대비 3.5배 빠르며, 24 GiB GPU로도 효율적으로 학습이 가능하다.
• 압력 상승 예측에 대해 R² 값이 0.986에 도달하여 높은 정확도를 유지했으며, 학습에 단지 6개의 시간 스텝만으로도 정확도를 유지했다.
• 조밀한 초기 스텝과 희소한 후속 스텝을 포함한 비균일한 시간 샘플링은 볼 수 있는 포인트뿐 아니라 예측 불가능한 시간 포인트에서도 정확한 예측을 가능하게 했다.
• Fourier-MIONet의 2D FFT 변형은 파라미터를 원래 FNO의 3.3%로 줄였고, GPU 메모리는 14.7%로 감소시켜 4D 문제에 대해 강력한 잠재력을 보였다.