[論文レビュー] Serverless seismic imaging in the cloud

Philipp Witte, Mathias Louboutin+2 more|arXiv (Cornell University)|Nov 27, 2019

Scientific Computing and Data Management参考文献 9被引用数 5

ひとこと要約

この論文では、Microsoft Azure上にサーバessな地震画像化フレームワークを提案し、コンテナ化されたバッチ処理とイベント駆動型コンピューティングを活用することで、3D逆時移行（RTM）の運用コストを最大6倍まで削減する。波動方程式ソルバーの自動コード生成にDevitoを活用し、各ソース位置に応じて計算インスタンスを動的にスケーリングすることで、従来のVMクラスタの無駄な待機時間を解消し、クラウド上でのコスト効率が高く、高性能な地震画像化を実現する。

ABSTRACT

This abstract presents a serverless approach to seismic imaging in the cloud based on high-throughput containerized batch processing, event-driven computations and a domain-specific language compiler for solving the underlying wave equations. A 3D case study on Azure demonstrates that this approach allows reducing the operating cost of up to a factor of 6, making the cloud a viable alternative to on-premise HPC clusters for seismic imaging.

研究の動機と目的

• 小規模および中規模のO&G企業および学術機関における、地上のHPCクラスタの高コストとリソース未利用の課題を解決すること。
• 従来の「持ち上げて移行する」クラウド移行手法の限界を乗り越え、アイドルVMを回避するサーバーレスでクラウドネイティブなワークフローを設計することで、地震RTMに適したアーキテクチャを提供すること。
• 動的でイベント駆動型のリソース割り当てと高性能な波動方程式ソルバーを用いて、コスト効率が高くスケーラブルな3D地震画像化を実現すること。
• Azure上のサーバーレスコンピューティングが、HPCクラスタと同等のパフォーマンスを達成しつつ、運用コストを大幅に削減できることを実証すること。

提案手法

• 各地震ソース位置ごとに動的にVMを起動・スケーリングするサーバーレスアーキテクチャをMicrosoft Azure上で採用し、アイドル時間を排除する。
• RTM計算をカプセル化するコンテナ化されたDockerワークロードを活用し、クラウド環境間でのポータブルかつ再現可能な実行を可能にする。
• Azure Functionsを介してイベント駆動型ワークフローを実装し、個々のソース画像が準備され次第、即座に画像合成をトリガーすることで、非同期かつ並列処理を実現する。
• ドメイン固有言語コンパイラーであるDevitoを活用し、前方および随伴モードで非等方的擬似圧縮TIX波動方程式を解く最適化された並列Cコードを自動生成する。
• 1ソースあたり2台のVMにMPIベースの領域分割を適用し、大きな波動場をメモリに収容する。E64/E64sメモリ最適化インスタンスを用いる。
• 低優先度VMを活用することで、コストをさらに2〜3倍まで削減し、固定クラスタと比較して合計で最大6倍のコスト削減を達成する。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスでイベント駆動型のワークフローは、従来のVMクラスタと比較して、アイドル時間と運用コストを削減できるか？
• RQ2 Devitoのようなドメイン固有言語コンパイラーは、クラウドネイティブ環境内での地震波動方程式ソルバーの高性能とポータビリティをどの程度実現できるか？
• RQ3 Azure上のサーバーレスRTMのコストとパフォーマンスは、大規模3Dイメージングにおける従来のオンプレミスHPCクラスタと比較してどうか？
• RQ4 コンテナ化された、極めて並列可能なワークロードは、サーバーレス関数を用いてクラウド上で効果的にオーケストレーション可能か？

主な発見

• Azure上のサーバーレスRTMワークフローは、固定クラスタのVMと比較して、運用コストを最大6倍まで削減した。主な要因はアイドル時間の排除であった。
• 1ソースあたりの平均実行時間は119.28分であり、100台のVMを用いて合計で約30時間の時間-to-solutionを達成した。
• 固定クラスタでは、ワーカー数が増えるにつれて累積的なアイドル時間が著しく増加し、最終ジョブの完了待ちによるコストが最大2倍にまで上昇した。
• 低優先度VMの活用により、コストがさらに2〜3倍削減され、合計で6倍のコスト削減に貢献した。
• 最終的な3D RTM画像は1,500 mの水平深度スライスとして可視化され、大規模な高精度イメージングの実現可能性が示された。
• 抽象化と自動コード生成を活用することで、柔軟性とコスト効率を維持しながら、産業スケールの問題に適したパフォーマンスを達成した。