[論文レビュー] Efficient machine-learning surrogates for large-scale geological carbon and energy storage

Teeratorn Kadeethum, Stephen Verzi+1 more|arXiv (Cornell University)|Oct 11, 2023

Reservoir Engineering and Simulation Methods被引用数 4

ひとこと要約

本論文は、ドメイン分解とトポロジーに配慮した埋め込みを用いてトレーニングドメインとインフェンスドメインを分離することで、大規模な地下炭素・エネルギー貯蔵のための計算的に効率的なニューラルオペレータ（NO）補間モデルを提案する。この手法により、サブドメインを用いることでトレーニングコストを削減しつつ、正確なフルフィールド予測を可能にし、イリノイ盆地・デカルトプロジェクトではたった90件のトレーニングサンプルで1%未満の相対誤差を達成した。

ABSTRACT

Geological carbon and energy storage are pivotal for achieving net-zero carbon emissions and addressing climate change. However, they face uncertainties due to geological factors and operational limitations, resulting in possibilities of induced seismic events or groundwater contamination. To overcome these challenges, we propose a specialized machine-learning (ML) model to manage extensive reservoir models efficiently. While ML approaches hold promise for geological carbon storage, the substantial computational resources required for large-scale analysis are the obstacle. We've developed a method to reduce the training cost for deep neural operator models, using domain decomposition and a topology embedder to link spatio-temporal points. This approach allows accurate predictions within the model's domain, even for untrained data, enhancing ML efficiency for large-scale geological storage applications.

研究の動機と目的

• 大規模な地下流体シミュレーションにおける、大規模な地下炭素・エネルギー貯蔵のための深層ニューラルオペレータ（NO）のトレーニングにかかる高い計算コストに対処すること。
• トレーニング時に全ドメインデータを用いる際のボトル neck を解消するため、ドメイン分解を用いてトレーニングドメインと予測ドメインを分離すること。
• 空間的・時間的任意の点での正確なフルフィールド予測（補間）を可能にし、トレーニングサブドメインの外側でも動作可能にするために、トポロジー埋め込み器を用いること。
• エッジデバイスのリソース制限に適合するよう、モデルサイズと計算複雑性を低減すること。
• 工業的応用におけるスケーラビリティを向上させ、データ生成コストを低減するため、最小限のトレーニングデータで高い精度を達成すること。

提案手法

• トレーニング中に計算ドメインをより小さなサブドメインに分割し、バックプロパゲーションステップごとに空間的・時間的ポイントのサブセットのみを用いる。
• 入力空間と出力空間間の対応する空間的・時間的座標をマッピングするトポロジー埋め込み器を採用し、ドメイン間での一貫性のある補間を可能にする。
• 縮小されたサブドメイン上でNOモデルをトレーニングしつつ、インフェンス時にフルフィールド解を予測できる能力を維持する。
• 186万パラメータ、21 MBのモデルサイズを有するコンactなアーキテクチャを採用し、CPUまたはGPU上で効率的なインフェンスを実現する。
• エッジデバイスへのデプロイに向け、さらにモデルサイズと計算コストを低減するため、量子化とプルーニング技術を活用する。
• 今後の研究では、勾配が急な領域での精度向上のため、物理的制約と適応的サンプリングを統合する。

Figure 1: Schematic of the proposed improved neural operator.

実験結果

リサーチクエスチョン

• RQ1 トレーニング時にドメイン分解を適用することで、地下流体シミュレーションにおける大規模なニューラルオペレータモデルの計算コストを顕著に削減できるか？
• RQ2 サブドメイン上でトレーニングされたニューラルオペレータモデルが、補間を用いてどれほど正確なフルフィールド予測を達成できるか？
• RQ3 産業スケールの地下貯蔵応用において、高い精度を達成するために必要な最小限のトレーニングサンプル数はどの程度か？
• RQ4 制限されたリソースを持つエッジデバイスに、予測速度や精度を損なわず効率的にデプロイできるか？
• RQ5 量子化やプルーニングといったモデル圧縮技術が、地下システム向けML補間モデルのパフォーマンスとデプロイ性に与える影響は何か？

主な発見

• イリノイ盆地・デカルトプロジェクト（大規模な炭素貯蔵施設）において、テストセットで1%未満の相対誤差を達成しており、トレーニングサンプルはわずか90件である。
• 1.73百万自由度の1タイムステップ分のインフェンスに、1台のQuadro RTX 8000 GPUで約0.003秒を要し、リアルタイム応用が可能である。
• CPU上でもわずかにウォールタイムが延長されるのみでインフェンスが可能であり、エッジデプロイの柔軟性を示している。
• 1.86百万パラメータ、1.86百万MACs、21 MBのコンactなモデルサイズであり、ResNet50（100 MB、4.14 GMACs）と比較して顕著に小型である。
• トレーニングポイントが疎らに分布している場合でも、全ドメインにわたる正確な補間が可能であり、外挿を回避している。
• この手法により、ドメインサイズに依存しないトレーニングの複雑性が実現され、計算コストが著しく増大することなく大規模なリザーバー・モデルのトレーニングが可能になった。

Figure 2: Illustration of input parameters: (a) permeability and (b) porosity.