[论文解读] A POMDP Model for Safe Geological Carbon Sequestration

Anthony Corso, Yizheng Wang+3 more|arXiv (Cornell University)|Oct 25, 2022

Reservoir Engineering and Simulation Methods被引用 5

一句话总结

本文提出了一种部分可观察马尔可夫决策过程（POMDP）模型，用于安全的地质封存碳捕集与封存（CCS）操作，通过简化的基于物理的泄漏点分析来处理地下不确定性及风险下的决策问题。结果表明，现成的POMDP求解器，特别是结合顺序重要性重采样（SIR）的POMCPOW，在实现零泄漏的同时，兼顾了储碳效率与观测成本，优于专家基线方法。

ABSTRACT

Geological carbon capture and sequestration (CCS), where CO$_2$ is stored in subsurface formations, is a promising and scalable approach for reducing global emissions. However, if done incorrectly, it may lead to earthquakes and leakage of CO$_2$ back to the surface, harming both humans and the environment. These risks are exacerbated by the large amount of uncertainty in the structure of the storage formation. For these reasons, we propose that CCS operations be modeled as a partially observable Markov decision process (POMDP) and decisions be informed using automated planning algorithms. To this end, we develop a simplified model of CCS operations based on a 2D spillpoint analysis that retains many of the challenges and safety considerations of the real-world problem. We show how off-the-shelf POMDP solvers outperform expert baselines for safe CCS planning. This POMDP model can be used as a test bed to drive the development of novel decision-making algorithms for CCS operations.

研究动机与目标

• 解决在高地下不确定性与复杂物理过程背景下，确保地质碳封存（CCS）安全性的关键挑战。
• 将CCS操作建模为一个序列决策问题，其中行动需在储碳效率与CO2泄漏、诱发地震等风险之间取得平衡。
• 基于二维泄漏点分析，开发一个简化但现实的POMDP框架，以支持自动化决策算法的测试。
• 评估通过POMDP求解器实现的自动化规划是否能在安全性与效率方面超越基于规则的专家策略。
• 建立一个测试平台，用于推进针对真实CCS挑战（包括不确定性量化与观测调度）的定制化决策算法。

提出的方法

• 将CCS操作建模为POMDP，其中状态表示储层几何与流体分布，动作包括注入与观测，观测结果反映CO2泄漏或压力变化。
• 定义一个奖励函数，综合考虑被捕获的CO2体积、泄漏的CO2体积、观测成本以及使用指示函数 $\mathbbm{1}_{\{\Delta V_{\rm exited}>0\}}$ 的泄漏惩罚。
• 使用模拟器基于物理动力学（包括CO2迁移与封存机制）模拟状态转移，考虑储层属性的不确定性。
• 采用粒子滤波（基础版）与顺序重要性重采样（SIR）实现信念更新，以在部分可观察条件下维持概率状态估计。
• 应用POMCPOW算法——一种先进的POMDP求解器——进行策略学习，支持在不确定性下探索最优动作序列。
• 将模型集成至开源POMDPs.jl框架中，以确保可复现性，并为未来算法开发提供可扩展性。

实验结果

研究问题

• RQ1 基于POMDP的框架能否有效建模在地下不确定性下的地质碳封存序列决策过程？
• RQ2 与专家设计的策略相比，自动化POMDP求解器在安全性（泄漏规避）与效率（CO2储碳能力利用率）方面表现如何？
• RQ3 信念更新策略的选择（如基础粒子滤波与SIR）对CCS规划中策略性能与鲁棒性有何影响？
• RQ4 现成的POMDP求解器在最小化泄漏的同时最大化CO2储存方面，能在多大程度上超越基于规则的基线方法？
• RQ5 在CCS操作中，引入观测动作如何影响信息获取与操作安全之间的权衡？

主要发现

• 采用SIR信念更新的POMCPOW在回报最高（2.24 ± 4.04）且实现零泄漏，优于所有基线方法，在安全性和稳定性方面表现最佳。
• 最佳猜测MDP基线（忽略不确定性）虽实现高捕集效率（70%），但因对错误状态估计过度自信，导致50%的泄漏率。
• 固定时间表策略实现了最高捕集效率（82%），但在10%的模拟中仍发生泄漏，表明在不确定性下固定观测计划不足以应对风险。
• POMCPOW（基础版）使用朴素粒子滤波，信念过于自信，导致20%泄漏率且性能差，凸显了稳健信念更新的重要性。
• 随机策略表现极差，回报为负（-104.38 ± 320.41）且方差高，凸显了在不确定性下结构化决策的必要性。
• POMCPOW（SIR）实现了平衡结果，平均每条轨迹仅需3次观测，证明其在不损害安全性的前提下高效获取信息。