[논문 리뷰] Efficient machine-learning surrogates for large-scale geological carbon and energy storage

Teeratorn Kadeethum, Stephen Verzi외 1명|arXiv (Cornell University)|2023. 10. 11.

Reservoir Engineering and Simulation Methods인용 수 4

한 줄 요약

이 논문은 도메인 분할과 토폴로지 인식 임bedding을 통해 훈련 도메인과 추론 도메인을 분리함으로써 대규모 지질학적 탄소 및 에너지 저장을 위한 계산 비용이 저렴한 신경 연산자(NO) 대체 모델을 제안한다. 이 방법은 하위도메인을 사용함으로써 훈련 비용을 줄이며, 전체 필드 예측을 정확하게 가능하게 하여 일리노이 벨트-데카투르 프로젝트에서 단지 90개의 훈련 샘플로 1% 미만의 상대 오차를 달성한다.

ABSTRACT

Geological carbon and energy storage are pivotal for achieving net-zero carbon emissions and addressing climate change. However, they face uncertainties due to geological factors and operational limitations, resulting in possibilities of induced seismic events or groundwater contamination. To overcome these challenges, we propose a specialized machine-learning (ML) model to manage extensive reservoir models efficiently. While ML approaches hold promise for geological carbon storage, the substantial computational resources required for large-scale analysis are the obstacle. We've developed a method to reduce the training cost for deep neural operator models, using domain decomposition and a topology embedder to link spatio-temporal points. This approach allows accurate predictions within the model's domain, even for untrained data, enhancing ML efficiency for large-scale geological storage applications.

연구 동기 및 목표

• 지질학적 탄소 및 에너지 저장에서 대규모 지하 유동 시뮬레이션을 위한 깊이 신경 연산자(NO) 훈련의 높은 계산 비용을 해결한다.
• 전체 도메인 데이터에 대한 NO 훈련의 한계를 도메인 분할을 통해 훈련 도메인과 예측 도메인을 분리함으로써 극복한다.
• 어디서든 공간-시간 점에서 정확한 전체 필드 예측(내삽)을 가능하게 하며, 훈련 하위도메인 외부의 점에도 적용 가능하게 하기 위해 토폴로지 임bed더를 사용한다.
• 모델 크기와 계산 복잡도를 줄여 자원이 제한된 엣지 장치에의 배포를 지원한다.
• 최소한의 훈련 데이터로 높은 정확도를 달성하여 데이터 생성 비용을 낮추고 산업 응용 분야의 확장성을 향상시킨다.

제안 방법

• 역전파 단계에서 각각의 스텝에서 공간-시간 점의 부분 집합만을 사용하여 계산 도메인을 더 작은 하위도메인으로 분할한다.
• 입력 및 출력 공간 간의 해당하는 공간 및 시간 좌표를 매핑하기 위해 토폴로지 임bed더를 사용하여 도메인 간 일관된 내삽을 가능하게 한다.
• 감소된 하위도메인에서 NO 모델을 훈련하면서 추론 시 전체 필드 해를 예측할 수 있는 능력을 유지한다.
• 186만 개의 파라미터와 21MB 모델 크기를 가진 컴act 아키텍처를 사용하여 CPU 또는 GPU에서 효율적인 추론을 가능하게 한다.
• 엔드포인트 배포를 위해 모델 크기와 계산 비용을 추가로 줄이기 위해 양자화 및 프루닝 기법을 활용한다.
• 미래 작업에서 물리적 사전 지식과 적응형 샘플링을 통합하여 고기울기 영역에서의 정확도를 향상시킬 것이다.

Figure 1: Schematic of the proposed improved neural operator.

실험 결과

연구 질문

• RQ1 훈련 중 도메인 분할이 지하 유동 시뮬레이션에서 대규모 신경 연산자 모델의 계산 비용을 크게 줄일 수 있는가?
• RQ2 하위도메인에서 훈련된 신경 연산자 모델이 내삽을 통해 얼마나 정확하게 전체 도메인의 예측을 수행할 수 있는가?
• RQ3 산업 규모의 지질학적 저장 응용 분야에서 높은 정확도를 달성하기 위해 얼마나 적은 수의 훈련 샘플이 필요한가?
• RQ4 제한된 자원을 가진 엣지 장치에 제안된 프레임워크를 효율적으로 배포할 수 있는가, 예측 속도나 정확도를 희생하지 않고?
• RQ5 양자화 및 프루닝과 같은 모델 압축 기법이 지하 시스템을 위한 머신러닝 대체 모델의 성능과 배포 가능성에 어떤 영향을 미치는가?

주요 결과

• 일리노이 벨트-데카투르 프로젝트라는 대규모 탄소 저장 현장에서 단지 90개의 훈련 샘플로 테스트 세트에서 1% 미만의 상대 오차를 달성한다.
• 1개 타임스탬프에 대해 173만 개의 자유도를 가진 추론이 단일 Quadro RTX 8000 GPU에서 약 0.003초가 소요되어 실시간 응용이 가능하다.
• CPU에서도 추론을 수행할 수 있으며, 벽 시계 시간이 약간 증가할 뿐이므로 엣지 배포에 대한 유연성을 보여준다.
• 186만 개의 파라미터와 186만 개의 MACs를 가진 컴act한 크기의 모델(21MB)을 가지며, ResNet50(100MB, 4.14GMACs)과 비교해 훨씬 작다.
• 훈련 점이 희박하게 분포되어 있어도 전체 도메인에 걸쳐 정확한 내삽을 가능하게 하며, 외삽을 방지한다.
• 훈련 복잡도가 도메인 크기와 분리되어 있어, 과도한 계산 비용 없이 대규모 저류지 모델에서 훈련이 가능하다.

Figure 2: Illustration of input parameters: (a) permeability and (b) porosity.