[論文レビュー] Numerical Simulation of Multi-phase Flow in Porous Media on Parallel Computers

Hui Liu, Shen, Lihua+3 more|arXiv (Cornell University)|Jun 2, 2016

Advanced Numerical Methods in Computational Mathematics参考文献 20被引用数 3

ひとこと要約

本稿では、MPIベースのドメイン分割と高度な線形ソルバを活用して、多相流動を伴う多孔質媒体における大規模シミュレーションを目的とした並列ブラックオイルリザーバーシミュレータを提案する。本研究では、エクサスケールクラスのシステムにおいて優れたスケーラビリティを達成し、最大1億4000万グリッドセルを有するモデルで線形的および超線形的な性能を示した。

ABSTRACT

A parallel reservoir simulator has been developed, which is designed for large-scale black oil simulations. It handles three phases, including water, oil and gas, and three components, including water, oil and gas. This simulator can calculate traditional reservoir models and naturally fractured models. Various well operations are supported, such as water flooding, gas flooding and polymer flooding. The operation constraints can be fixed bottom-hole pressure, a fixed fluid rate, and combinations of them. The simulator is based on our in-house platform, which provides grids, cell-centred data, linear solvers, preconditioners and well modeling. The simulator and the platform use MPI for communications among computation nodes. Our simulator is capable of simulating giant reservoir models with hundreds of millions of grid cells. Numerical simulations show that our simulator matches with commercial simulators and it has excellent scalability.

研究の動機と目的

• 複雑で不均一なリザーバーにおける大規模ブラックオイルおよび油水流れのシミュレーションを処理できるスケーラブルな並列リザーバーシミュレータの開発。
• 水、油、ガスの複数相モデルと、完全なウェル操作制約を伴うコンponentベースのシミュレーションをサポート。
• 多相流動方程式の陰的離散化から生じる大規模線形系を解く際のロバスト性と効率性を確保。
• 10億セルを超えるリザーバーモデルに対して、ハイパフォーマンスコンピューティングプラットフォームで線形的および超線形的スケーリングを示す。
• 商用ツールとの比較による検証を通じて、産業スケールの応用に耐える信頼性の確立。

提案手法

• MPIを用いたノード間通信を活用した自社開発の並列プラットフォームに基づく実装で、数千プロセッサにわたる分散メモリ計算を可能にした。
• 非線形方程式系の解法に、セル中心型有限差分法と陰的時間積分法、不正確ニュートン法を採用した。
• 圧力方程式にはBiCGSTAB反復線形ソルバを用い、収束性を向上させるためにRAS（制限付き加法的シュワーツ）プリコンディショナを適用した。
• Darcyの法則と質量保存則を用いて、水、油、ガスの三相流動（三成分含む：溶解ガスおよび自由ガス）を扱う。
• 二重ポーラリティおよび二重透過率の定式化を用いて、規則的および自然に破壊されたリザーバーを両方対応可能とした。
• ボトムホール圧力固定、流量固定、混合制約を備えたウェルモデルを実装し、水注入、ガス注入、ポリマー注入のシミュレーションを可能にした。

実験結果

リサーチクエスチョン

• RQ1 並列リザーバーシミュレータは、数億グリッドセルを有する大規模な多相リザーバーモデルにおいて、線形的スケーリングを達成できるか？
• RQ2 不正確ニュートン法およびBiCGSTAB線形ソルバの性能は、MPIプロセス数の増加に伴いどのようにスケーリングするか？
• RQ3 RASプリコンディショナは、リザーバーシミュレーションに由来する大規模スパース線形系の解法において、収束性とスケーリングにどの程度寄与するか？
• RQ4 ベンチマークリザーバーモデルにおいて、商用シミュレータと比較して本シミュレータの精度と性能はどの程度か？
• RQ5 本シミュレータは、破壊、断層、ポリマー注入といった複雑なリザーバー特徴を、高い計算効率で処理できるか？

主な発見

• IBM Blue Gene/Qシステムにおいて1億4000万セルのモデルで線形的スケーリングを達成し、256コアでのシミュレーション時間約11.4時間から4096コアでの約0.4時間に短縮された。
• 1億セルのモデルでは、1024から2048 MPIタスクの間で超線形的スケーリングを示し、2048から4096コアへの移行で2.3倍のスループット向上が得られた。
• 不正確ニュートン法はすべてのケースでロバストに機能し、平均非線形反復回数は101～145回に留まり、高スケールのプロセッサ数でも収束が維持された。
• 線形ソルバ（BiCGSTAB）は、MPIタスク数の増加に伴い平均反復回数が4.9から6.2に増加したが、並列化のおかげで全体の実行時間は短縮された。
• 4096コアでGMRES(30)にRASプリコンディショナを適用し、30億自由度の線形系を2分未満で解消した。これは極めて高いスケーリング性能を示した。
• 数値結果は商用シミュレータと一致し、提案された並列実装の正確性と信頼性が検証された。