[論文レビュー] High-Performance Distributed Multi-Model / Multi-Kernel Simulations: A Case-Study in Jungle Computing

Niels Drost, Jason Maassen+7 more|arXiv (Cornell University)|Mar 1, 2012

Distributed and Parallel Computing Systems参考文献 13被引用数 4

ひとこと要約

本論文は、Ibisミドルウェアに基づくプロトタイプ分散シミュレーションフレームワークを提示し、異種で地理的に分散したリソース—「ジャングルコンピューティング」システム—を活用して、ハイパフォーマンスでマルチモデル・マルチカーネルの宇宙物理学的シミュレーションを実現することを目的としている。本研究では、AMUSE（計算宇宙物理学フレームワーク）が大陸を越えてリモートGPUを効率的に活用できることを示しており、CPUオンリーシミュレーションの1回の反復あたり353秒から、4つの機関にモデルを分散させた場合に62.4秒まで短縮された。

ABSTRACT

High-performance scientific applications require more and more compute power. The concurrent use of multiple distributed compute resources is vital for making scientific progress. The resulting distributed system, a so-called Jungle Computing System, is both highly heterogeneous and hierarchical, potentially consisting of grids, clouds, stand-alone machines, clusters, desktop grids, mobile devices, and supercomputers, possibly with accelerators such as GPUs. One striking example of applications that can benefit greatly of Jungle Computing Systems are Multi-Model / Multi-Kernel simulations. In these simulations, multiple models, possibly implemented using different techniques and programming models, are coupled into a single simulation of a physical system. Examples include the domain of computational astrophysics and climate modeling. In this paper we investigate the use of Jungle Computing Systems for such Multi-Model / Multi-Kernel simulations. We make use of the software developed in the Ibis project, which addresses many of the problems faced when running applications on Jungle Computing Systems. We create a prototype Jungle-aware version of AMUSE, an astrophysical simulation framework. We show preliminary experiments with the resulting system, using clusters, grids, stand-alone machines, and GPUs.

研究の動機と目的

• 大規模な科学的シミュレーションに、非常に異種で分散的かつ階層的な計算リソース（「ジャングルコンピューティング」として呼ばれる）を効率的に活用する課題に対処すること。
• 単一システムの能力を超える巨大な計算パワーを必要とする、計算宇宙物理学におけるマルチモデル・マルチカーネル（3MK）シミュレーションを可能にすること。
• クラスターやグリッド、スタンドアロンマシン、GPUを含む分散環境において、AMUSEシミュレーションのシームレスなデプロイと実行を可能にするプロトタイプシステムの開発。
• 複数の大陸をカバーする実世界の実験を用いて、このようなシステムの性能と実現可能性を評価すること。

提案手法

• 低レベルのシステムの異種性を抽象化し、さまざまなプラットフォーム間での通信とリソースアクセスを管理するために、オープンソースのIbisソフトウェアフレームワークを活用した。
• 異なる計算リソースにまたがる複数の天体物理学的モデル（例：星の進化、流体力学）の結合を可能にするために、AMUSEシミュレーションフレームワークに分散機能を拡張した。
• 利用可能なハードウェア（CPUおよびGPUを含む）に基づいて、モデルを適切なリソースに動的に選択・割り当てる「ジャングルに適応したコアラ」を実装した。
• ノード間通信にはメッセージパassingインタフェース（MPI）を、ファイアウォールやNATを越えたリソース間の調整にはIbisの軽量プロセスモデルを用いた。
• リモートGPUの活用を可能にするために、計算負荷の高いモデル（例：Octgrav）をライデンのLGMクラスタのような高性能GPUノードに再割り当てした。
• 単純なスクリプト変更により、シミュレーションコンponentsの透明な再構成を可能にするようにシステムを設定し、ユーザーの複雑さを最小限に抑えた。

実験結果

リサーチクエスチョン

• RQ1 異種で地理的に分散したリソースを有する「ジャングルコンピューティング」環境において、分散型でマルチモデル・マルチカーネルのシミュレーションフレームワークを効果的に展開できるか？
• RQ2 このようなシステムは、リモートGPUリソースをどれほど効率的に活用して、シミュレーションの計算負荷の高いコンponentsを高速化できるか？
• RQ3 複数の機関やネットワークトポロジーをまたがる分散実行の管理に、どれほどのオーバーヘッドが生じるか？
• RQ4 システムはリソースの可用性に動的に適応し、CPUバージョンとGPUバージョンの最適な計算カーネル（例：CPU対GPU）を自動的に選択できるか？
• RQ5 複数の大陸にまたがるモデルの分散と多様なハードウェアプラットフォームを活用することで、システムはどれほど性能をスケーリングできるか？

主な発見

• プロトタイプは、ライデンのGPU搭載ノードも含む複数の機関にまたがる3MKシミュレーションを正常に実行し、大陸を越えたリソース利用を実証した。
• LGMクラスタのリモートTesla C2050 GPUを用いることで、1回のシミュレーション反復時間は84秒に短縮され、ローカルのGeForce 9600GT GPU（89秒）を上回る性能を示した。
• 4つの異なる大学にシミュレーションを分散させた結果、1回の反復時間は62.4秒にまで短縮され、CPUオンリーサイクルの353秒と比較して5.7倍の高速化が達成された。
• ネットワーク距離が30キロメートルであっても、計算負荷の高いモデルをリモートGPUにオフロードすることで、顕著な性能向上が得られた。
• 分散システムのオーバーヘッドは低く、特定の構成ではローカルGPUの使用よりもリモートGPUの使用がより効率的であることが判明した。
• プロトタイプは、1行のスクリプト変更（例：1行の変更）でローカル実行とリモート実行を切り替えられることを示しており、使いやすさと柔軟性を実証した。