[논문 리뷰] A POMDP Model for Safe Geological Carbon Sequestration

Anthony Corso, Yizheng Wang외 3명|arXiv (Cornell University)|2022. 10. 25.

Reservoir Engineering and Simulation Methods인용 수 5

한 줄 요약

이 논문은 부분 관측 가능 마르코프 결정 과정(POMDP) 모델을 제안하여 지하 이산화탄소 저장(CCS) 운영의 안전성을 확보한다. 단순화된 물리 기반의 유출점 분석을 통해 지하 불확실성과 위험 상황에서의 의사결정을 다룬다. 실험 결과, 특히 순차적 중요도 재표본화(SIR)를 사용하는 POMCPOW와 같은 표준 POMDP 솔버가 전문가 기반 기준선을 능가하여 누출이 전혀 발생하지 않으면서도 저장 효율성과 관측 비용을 균형 있게 유지함을 입증한다.

ABSTRACT

Geological carbon capture and sequestration (CCS), where CO$_2$ is stored in subsurface formations, is a promising and scalable approach for reducing global emissions. However, if done incorrectly, it may lead to earthquakes and leakage of CO$_2$ back to the surface, harming both humans and the environment. These risks are exacerbated by the large amount of uncertainty in the structure of the storage formation. For these reasons, we propose that CCS operations be modeled as a partially observable Markov decision process (POMDP) and decisions be informed using automated planning algorithms. To this end, we develop a simplified model of CCS operations based on a 2D spillpoint analysis that retains many of the challenges and safety considerations of the real-world problem. We show how off-the-shelf POMDP solvers outperform expert baselines for safe CCS planning. This POMDP model can be used as a test bed to drive the development of novel decision-making algorithms for CCS operations.

연구 동기 및 목표

• 높은 지하 불확실성과 복잡한 물리 과정 속에서 안전성을 확보하는 데 있어 핵심적인 과제를 해결한다.
• 저장 효율성과 이산화탄소 누출 및 유도 지진성 위험을 균형 잡는 조치를 취해야 하는 순차적 의사결정 문제로 CCS 운영을 모델링한다.
• 자동화된 의사결정 알고리즘 테스트를 가능하게 하기 위해 2차원 유출점 분석 기반의 단순화된 그러나 현실적인 POMDP 프레임워크를 개발한다.
• POMDP 솔버를 통한 자동 계획이 CCS 운영의 안전성과 효율성 측면에서 규칙 기반 전문가 정책을 능가할 수 있는지 평가한다.
• 불확실성 정량화와 관측 일정 계획을 포함한 실제 CCS 과제에 특화된 의사결정 알고리즘의 발전을 위한 테스트 베드를 구축한다.

제안 방법

• 상태는 저류체 기하학적 구조와 유체 분포를 나타내며, 행동은 주입 및 관측을 포함하고, 관측은 이산화탄소 누출 또는 압력 변화를 반영한다.
• 포획된 이산화탄소 부피, 누출된 이산화탄소 부피, 관측 비용, 그리고 indicator 함수 $\mathbbm{1}_{\{\Delta V_{\rm exited}>0\}}$ 를 사용한 누출 페널티를 조합한 보상 함수를 정의한다.
• 물리적 역학(이산화탄소 이동 및 포획 메커니즘 포함)에 기반한 상태 전이를 시뮬레이터를 통해 모델링하며, 저류체 성질의 불확실성을 수반한다.
• 부분 관측 가능성에도 불구하고 확률적 상태 추정을 유지하기 위해 기본 입자 필터와 순차적 중요도 재표본화(SIR)를 사용하여 믿음 갱신을 구현한다.
• 최신 기술 수준의 POMDP 솔버인 POMCPOW 알고리즘을 적용하여 불확실성 하에서 최적의 행동 순서 탐색을 가능하게 하는 정책 학습을 수행한다.
• 재현 가능성과 향후 알고리즘 개발의 확장성을 고려해 모델을 오픈소스 POMDPs.jl 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 지하 불확실성 하에서 지하 이산화탄소 저장(CCS)의 순차적 의사결정 과정을 효과적으로 모델링하는 데 POMDP 기반 프레임워크가 활용될 수 있는가?
• RQ2 자동화된 POMDP 솔버는 안전성(누출 방지)과 효율성(이산화탄소 저장 용량 활용도) 측면에서 전문가가 설계한 정책과 비교해 어떻게 성능을 냈는가?
• RQ3 믿음 갱신 전략의 선택(예: 기본 입자 필터 대비 SIR)이 CCS 계획에서 정책 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 표준 POMDP 솔버가 누출을 최소화하면서도 이산화탄소 저장을 최대화하는 데 있어 규칙 기반 기준선을 얼마나 능가하는가?
• RQ5 관측 행동의 포함 여부가 CCS 운영에서 정보 확보와 운영 안전성 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• SIR 믿음 갱신을 사용한 POMCPOW는 최고의 수익(2.24 ± 4.04)과 0% 누출을 기록하여 모든 기준선 대비 안전성과 안정성에서 뛰어난 성능을 보였다.
• 불확실성을 忽시한 Best Guess MDP 기준선은 높은 포획 효율성(70%)을 달성했지만, 잘못된 상태 추정에 대한 과신으로 인해 50%의 누출을 경험했다.
• 고정 일정 정책은 가장 높은 포획 효율성(82%)을 기록했지만 여전히 10%의 실현에서 누출이 발생하여, 불확실성 하에서는 뻣뻣한 관측 일정만으로는 부족함을 보였다.
• 기본 입자 필터를 사용한 POMCPOW (Basic)는 믿음에 과신하게 되어 20%의 누출과 열악한 성능을 보였으며, 이는 강건한 믿음 갱신의 중요성을 강조한다.
• 무작위 정책은 낮은 수익(-104.38 ± 320.41)과 높은 분산을 보였으며, 이는 불확실성 하에서 체계적인 의사결정이 얼마나 필수적인지를 입증한다.
• POMCPOW (SIR)는 평균적으로 트레이젝터리당 3회의 관측만으로도 균형 잡힌 성과를 달성하여, 안전성을 훼손하지 않으면서도 효율적인 정보 확보를 실현했다.