[論文レビュー] Fourier-MIONet: Fourier-enhanced multiple-input neural operators for multiphase modeling of geological carbon sequestration

Zhongyi Jiang, Min Zhu+1 more|arXiv (Cornell University)|Mar 8, 2023

CO2 Sequestration and Geologic InteractionsEnvironmental Science被引用数 3

ひとこと要約

本稿では、地質的炭素隔離のための多相性流れの解作用素を効率的に学習できる、フォーリエ拡張型の複数入力ニューラルオペレーター（Fourier-MIONet）を提案する。MIONetフレームワークにU-Fourierニューラルオペレーター（U-FNO）を統合することで、U-FNOと比較して90%少ないパラメータ、3.5倍速い学習速度、CPUメモリ使用量が最大85%低減、GPUメモリ使用量が64%低減を達成した。一方で、30年間のシミュレーションを6つの時間スナップショットでのみ学習し、PDE解の物理的連続性のおかげで高い精度と一般化性能を維持している。

ABSTRACT

Geologic carbon sequestration (GCS) is a safety-critical technology that aims to reduce the amount of carbon dioxide in the atmosphere, which also places high demands on reliability. Multiphase flow in porous media is essential to understand CO$_2$ migration and pressure fields in the subsurface associated with GCS. However, numerical simulation for such problems in 4D is computationally challenging and expensive, due to the multiphysics and multiscale nature of the highly nonlinear governing partial differential equations (PDEs). It prevents us from considering multiple subsurface scenarios and conducting real-time optimization. Here, we develop a Fourier-enhanced multiple-input neural operator (Fourier-MIONet) to learn the solution operator of the problem of multiphase flow in porous media. Fourier-MIONet utilizes the recently developed framework of the multiple-input deep neural operators (MIONet) and incorporates the Fourier neural operator (FNO) in the network architecture. Once Fourier-MIONet is trained, it can predict the evolution of saturation and pressure of the multiphase flow under various reservoir conditions, such as permeability and porosity heterogeneity, anisotropy, injection configurations, and multiphase flow properties. Compared to the enhanced FNO (U-FNO), the proposed Fourier-MIONet has 90% fewer unknown parameters, and it can be trained in significantly less time (about 3.5 times faster) with much lower CPU memory ($<$ 15%) and GPU memory ($<$ 35%) requirements, to achieve similar prediction accuracy. In addition to the lower computational cost, Fourier-MIONet can be trained with only 6 snapshots of time to predict the PDE solutions for 30 years. The excellent generalizability of Fourier-MIONet is enabled by its adherence to the physical principle that the solution to a PDE is continuous over time.

研究の動機と目的

• 多孔質媒体における多相性流れのシミュレーションに用いられる従来のリザーバー・シミュレーターおよび既存のディープラーニングモデルの高い計算コストとデータ非効率性に対処すること。
• 異方的かつ不均一なリザーバーにおいて、CO2移動および圧力場のリアルタイム予測を可能にするサーヴィレートモデルの開発。
• 長期間スケールのシミュレーション（例：30年）においても高い精度を維持しつつ、学習データ要件と計算リソースを削減すること。
• PDE解の時間的物理的連続性を活用することで、未観測の時間点への一般化性能を向上させること。
• 大規模な地質的形成における4次元（3次元空間＋時間）の多相性流れ問題に対して、スケーラブルで低メモリな推論を可能とすること。

提案手法

• 複数の入力関数（例：透水係数、孔隙率、注入流量）を異なるドメインで扱えるように、複数入力ニューラルオペレーター（MIONet）フレームワークとU-Fourierニューラルオペレーター（U-FNO）を統合する。
• 入力関数を符号化するトランクネットワークと、スペクトル空間で解作用素を学習するフォーリエベースのマージネットワーク（3次元または2次元FFTを用いる）を採用する。
• 初期時刻に密なスナップショット、後期に疎なスナップショットを配置する非一様時間サンプリングを採用し、未観測の時間点への一般化性能を向上させる。
• PDE解が時間的に連続であるという物理的原則を活用することで、追加データを必要とせずに一般化性能を向上させる。
• 1つのシミュレーションケースあたり6つの時間スナップショットでのみ学習することで、データおよび計算要求を顕著に低減する。
• トランクネットにz座標と時間の両方を統合的に符号化する場合、4次元FFTの代わりに2次元FFTを使用することで、メモリ使用量を最適化する。

実験結果

リサーチクエスチョン

• RQ1 地質的炭素隔離のための不均一な多孔質媒体における長期的多相性流れを、効率的かつ高精度にシミュレートできるディープニューラルオペレーターを設計できるか？
• RQ2 4次元PDEシミュレーションにおいて、予測精度を損なわず、計算コストとデータ要件を低減できるか？
• RQ3 非一様時間サンプリングは、PDE解の学習における未観測時間点への一般化性能を向上させられるか？
• RQ4 PDE解の物理的連続性をどれだけ活用すれば、最小限の学習データでモデルの一般化性能を向上させられるか？
• RQ5 提案されたアーキテクチャは、最先端モデルと比較して顕著にパラメータ数とメモリ使用量を削減した、大規模な3次元＋時間問題にスケーラブルに適用可能か？

主な発見

• Fourier-MIONetはU-FNOと比較してトレーニング可能なパラメータ数を90%削減し、468万対4667万パラメータを達成した。
• CPUメモリ使用量はU-FNOと比較して85%低減し、GPUメモリ使用量は64%低減した。GPUメモリ使用量はベースラインの30%未満にまで低下した。
• 学習速度はU-FNOと比較して3.5倍速く、24 GiBのGPUでも効率的な学習が可能である。
• 圧力上昇予測の決定係数（R²）は0.986を達成し、学習に6つの時間スナップショットしか使用しなくても高い精度を維持した。
• 初期に密なスナップショット、後期に疎なスナップショットを配置する非一様時間サンプリングにより、観測済みおよび未観測の時間点での正確な予測が可能になった。
• 2次元FFTを用いたFourier-MIONetのバージョンでは、パラメータ数が元のFNOの3.3%、GPUメモリ使用量が14.7%にまで低減され、4次元問題への強い潜在的応用が示された。