[논문 리뷰] Numerical Simulation of Multi-phase Flow in Porous Media on Parallel Computers

Hui Liu, Shen, Lihua외 3명|arXiv (Cornell University)|2016. 06. 02.

Advanced Numerical Methods in Computational Mathematics참고 문헌 20인용 수 3

한 줄 요약

이 논문은 MPI 기반 도메인 분할과 고급 선형 솔버를 활용하여 다상류 흐름을 위한 대규모 다공성 매질 시뮬레이션을 위한 병렬 블랙 오일 오일장치 시뮬레이터를 제시한다. 이는 엑사스케일 수준의 시스템에서 뛰어난 확장성을 보이며, 최대 14000만 개의 격자 요소를 가진 모델에서 선형적이고 심지어 초선형 성능을 입증한다.

ABSTRACT

A parallel reservoir simulator has been developed, which is designed for large-scale black oil simulations. It handles three phases, including water, oil and gas, and three components, including water, oil and gas. This simulator can calculate traditional reservoir models and naturally fractured models. Various well operations are supported, such as water flooding, gas flooding and polymer flooding. The operation constraints can be fixed bottom-hole pressure, a fixed fluid rate, and combinations of them. The simulator is based on our in-house platform, which provides grids, cell-centred data, linear solvers, preconditioners and well modeling. The simulator and the platform use MPI for communications among computation nodes. Our simulator is capable of simulating giant reservoir models with hundreds of millions of grid cells. Numerical simulations show that our simulator matches with commercial simulators and it has excellent scalability.

연구 동기 및 목표

• 복잡하고 비균질적인 오일장치에서 대규모 블랙 오일 및 오일-워터 흐름 시뮬레이션을 처리할 수 있는 확장 가능한 병렬 오일장치 시뮬레이터를 개발하는 것.
• 수분, 오일, 가스를 포함한 다상 모델과 구성 성분 기반 시뮬레이션을 지원하며, 완전한 웰 운영 제약 조건을 포함하는 것.
• 암시적 이산화에 의해 발생하는 대규모 선형 시스템을 해결하는 데 있어 강건성과 효율성을 보장하는 것.
• 10억 개 이상의 격자 요소를 가진 오일장치 모델에 대해 고성능 컴퓨팅 플랫폼에서 선형적이고 초선형적 확장성을 입증하는 것.
• 상용 도구와의 비교를 통해 검증하고 산업 규모의 응용에 대한 신뢰성을 확립하는 것.

제안 방법

• MPI를 사용한 노드 간 통신을 기반으로 한 내부 개발 병렬 플랫폼을 기반으로 하며, 수천 개의 프로세서를 통해 분산 메모리 계산을 가능하게 한다.
• 압력 방정식은 BiCGSTAB 반복 선형 솔버와 RAS(제한된加산 Schwarz) 조건화를 사용하여 수렴성을 향상시킨다.
• 모델은 Darcy의 법칙과 질량 보존 방정식을 사용하여 수분, 오일, 가스를 포함한 3상 흐름(3성분 포함, 용해 가스 및 자유 가스 포함)을 지원한다.
• 이중 다공성 및 이중 투과성 공식화를 사용하여 정규 및 천연 균열이 있는 오일장치를 모두 처리한다.
• 고정된 바닥구멍 압력, 고정된 유량, 혼합 제약 조건을 포함한 웰 모델을 구현하여 물, 가스, 폴리머 플로우를 시뮬레이션할 수 있다.

실험 결과

연구 질문

• RQ1 병렬 오일장치 시뮬레이터는 수백만 개의 격자 요소를 가진 대규모 다상 오일장치 모델에서 선형 확장성을 달성할 수 있는가?
• RQ2 비정확 뉴턴 방법과 BiCGSTAB 선형 솔버의 성능은 MPI 프로세스 수가 증가함에 따라 어떻게 변화하는가?
• RQ3 RAS 조건화 방법이 오일장치 시뮬레이션에서 발생하는 대규모 희박 선형 시스템을 해결할 때 수렴성과 확장성에 얼마나 기여하는가?
• RQ4 기본 오일장치 모델에서 상용 시뮬레이터와 비교했을 때 정확성과 성능 측면에서 시뮬레이터의 성능은 어떠한가?
• RQ5 균열, 단절, 폴리머 플로우와 같은 복잡한 오일장치 특성을 고성능으로 처리할 수 있는가?

주요 결과

• IBM Blue Gene/Q 시스템에서 14000만 개의 격자 요소 모델에 대해 선형 확장성을 달성하여, 256 코어에서 약 11.4시간에서 4096 코어로 감소해 약 0.4시간으로 단축시켰다.
• 10000만 개의 격자 요소 모델에서 1024에서 2048 MPI 작업 간 초선형 확장성을 보였으며, 2048에서 4096 코어로 전환 시 2.3배의 속도 향상을 기록했다.
• 비정확 뉴턴 방법은 모든 경우에서 강건성을 유지하였으며, 평균 비선형 반복 수는 101에서 145 사이를 유지했고, 고성능 프로세서 수에서도 수렴이 유지되었다.
• 선형 솔버(BiCGSTAB)는 MPI 작업 수가 증가함에 따라 평균 반복 수가 4.9에서 6.2로 증가했지만, 병렬 처리 덕분에 총 실행 시간은 감소했다.
• 4096 코어에서 RAS 조건화와 함께 GMRES(30)를 사용하여 30억 도전 자유도 선형 시스템을 2분 이내에 해결하여 극한의 확장성을 입증했다.
• 수치 결과는 상용 시뮬레이터와 일치하여 제안된 병렬 구현의 정확성과 신뢰성을 검증했다.