[論文レビュー] A POMDP Model for Safe Geological Carbon Sequestration

Anthony Corso, Yizheng Wang+3 more|arXiv (Cornell University)|Oct 25, 2022

Reservoir Engineering and Simulation Methods被引用数 5

ひとこと要約

本稿では、地下の不確実性とリスク下での意思決定を扱うために、簡略化された物理ベースの漏出ポイント分析を用いた部分的に観測可能なマルコフ意思決定過程（POMDP）モデルを、安全な炭素隔離（CCS）運用のためのものとして提案する。実験の結果、特に逐次的重要性再抽出（SIR）を用いたPOMCPOWというオフザシェルPOMDPソルバが、漏出をゼロに抑えつつ、貯蔵効率と観測コストのバランスを取ることで、熟練者ベースラインを上回ることを示した。

ABSTRACT

Geological carbon capture and sequestration (CCS), where CO$_2$ is stored in subsurface formations, is a promising and scalable approach for reducing global emissions. However, if done incorrectly, it may lead to earthquakes and leakage of CO$_2$ back to the surface, harming both humans and the environment. These risks are exacerbated by the large amount of uncertainty in the structure of the storage formation. For these reasons, we propose that CCS operations be modeled as a partially observable Markov decision process (POMDP) and decisions be informed using automated planning algorithms. To this end, we develop a simplified model of CCS operations based on a 2D spillpoint analysis that retains many of the challenges and safety considerations of the real-world problem. We show how off-the-shelf POMDP solvers outperform expert baselines for safe CCS planning. This POMDP model can be used as a test bed to drive the development of novel decision-making algorithms for CCS operations.

研究の動機と目的

• 高い地下の不確実性と複雑な物理的プロセスが伴う中で、地質的炭素隔離（CCS）における安全性を確保するという重要な課題に取り組む。
• CO2漏出や誘発地震のリスクを考慮しながら、貯蔵効率とバランスを取る意思決定を段階的に行う問題としてCCS運用をモデル化する。
• 2次元の漏出ポイント解析に基づいた、簡略化されたが現実的であるPOMDPフレームワークを構築し、自動意思決定アルゴリズムのテストを可能にする。
• POMDPソルバによる自動計画が、CCS運用における安全性と効率性の両面で、ルールベースの熟練者ポリシーを上回るかどうかを評価する。
• 不確実性の定量化と観測スケジューリングを含む、現実世界のCCS課題に特化した意思決定アルゴリズムの発展を促進するためのテストベッドを構築する。

提案手法

• 状態は貯留層の幾何構造と流体分布を表し、行動には注入と観測が含まれ、観測はCO2漏出または圧力変化を捉えるものとする。
• トラップされたCO2体積、漏出したCO2体積、観測コスト、および指標関数 $\mathbbm{1}_{\{\Delta V_{\rm exited}>0\}}$ を用いた漏出ペナルティを組み合わせた報酬関数を定義する。
• 物理的ダイナミクス（CO2移動および捕集機構を含む）に基づいて状態遷移をシミュレートする。不確実な貯留層特性を前提とする。
• 部分的観測性にかかわらず確率的状態推定を維持するため、基本的なパーティクルフィルタと逐次的重要性再抽出（SIR）を用いて信念更新を実装する。
• 最新のPOMDPソルバであるPOMCPOWアルゴリズムを適用し、不確実性下での最適な行動シーケンスの探索を可能にする。
• 再現性と将来のアルゴリズム開発の拡張性を高めるために、POMDPs.jlフレームワーク（オープンソース）に統合する。

実験結果

リサーチクエスチョン

• RQ1 地下の不確実性下における地質的炭素隔離（CCS）における段階的意思決定プロセスを、POMDPベースのフレームワークが効果的にモデル化できるか？
• RQ2 自動POMDPソルバは、熟練者によって設計されたポリシーと比較して、安全性（漏出回避）と効率性（CO2貯蔵容量の活用度）の両面で優れているか？
• RQ3 信念更新戦略の選択（例：基本的パーティクルフィルタ対SIR）が、CCS計画におけるポリシーのパフォーマンスと耐性に与える影響は何か？
• RQ4 オフザシェルPOMDPソルバは、漏出を最小限に抑えつつCO2貯蔵を最大化するという点で、ルールベースのベースラインをどの程度上回るか？
• RQ5 観測行動の導入は、情報収集と運用の安全性のトレードオフにどのような影響を与えるか？

主な発見

• SIR信念更新を用いたPOMCPOWは、最高の報酬（2.24 ± 4.04）とゼロの漏出を達成し、すべてのベースラインを安全性と安定性の面で上回った。
• ベストゲスMDPベースライン（不確実性を無視）は高いトラップ効率（70%）を達成したが、誤った状態推定に過信した結果、50%の漏出を生じた。
• 固定スケジュールポリシーは最高のトラップ効率（82%）を達成したが、依然として10%の実現例で漏出が発生しており、不確実性下では硬直的な観測スケジュールでは不十分であることが示された。
• 基本的パーティクルフィルタを用いたPOMCPOW（基本）は、信念に過信を抱き、20%の漏出と劣ったパフォーマンスを示した。これは、信頼性の高い信念更新の重要性を強調している。
• ランダムポリシーは報酬が負の値（-104.38 ± 320.41）で、分散が大きく、不確実性下での構造的意思決定の必要性を浮き彫りにした。
• POMCPOW（SIR）は平均で1トレーリャごとに3回の観測で、安全性を損なわず、効率的な情報収集を実現した。