[論文レビュー] Enabling Loosely-Coupled Serial Job Execution on the IBM BlueGene/P Supercomputer and the SiCortex SC5832

Ioan Raicu, Zhao Zhang+2 more|ArXiv.org|Aug 26, 2008

Distributed and Parallel Computing Systems参考文献 25被引用数 3

ひとこと要約

本論文では、IBM BlueGene/P や SiCortex SC5832 などの大規模スーパーコンピュータ上で、アプリケーションを変更せずに、緩く結合された直列ジョブを効率的に実行できるフレームワークを提示する。I/O とタスクスケジューリングの最適化により、BlueGene/P では最大4096プロセッサ、SiCortex では5832プロセッサまでスケーラビリティを達成し、1秒間に数千件のタスクを継続的に実行する性能を発揮し、エネルギーモデリングや分子動力学など多様な分野で有効性を示した。

ABSTRACT

Our work addresses the enabling of the execution of highly parallel computations composed of loosely coupled serial jobs with no modifications to the respective applications, on large-scale systems. This approach allows new-and potentially far larger-classes of application to leverage systems such as the IBM Blue Gene/P supercomputer and similar emerging petascale architectures. We present here the challenges of I/O performance encountered in making this model practical, and show results using both micro-benchmarks and real applications on two large-scale systems, the BG/P and the SiCortex SC5832. Our preliminary benchmarks show that we can scale to 4096 processors on the Blue Gene/P and 5832 processors on the SiCortex with high efficiency, and can achieve thousands of tasks/sec sustained execution rates for parallel workloads of ordinary serial applications. We measured applications from two domains, economic energy modeling and molecular dynamics.

研究の動機と目的

• ペタスケールのスーパーコンピュータ上で、多数の独立した直列ジョブを効率的に実行する課題に対処すること。
• 緩く結合されたジョブ実行モデルにおけるスケーラビリティを妨げるI/Oパフォーマンスのボトル neck を克服すること。
• 既存の直列アプリケーションを変更せずに大規模システムで効率的に実行可能にする。
• IBM BlueGene/P および SiCortex SC5832 という2つの異なるペタスケールアーキテクチャ上で、高いスケーラビリティとパフォーマンスを実証すること。
• 経済的エネルギーモデリングや分子動力学など、多様な分野からの実世界のアプリケーションを用いて、手法の妥当性を検証すること。

提案手法

• 数千プロセッサにわたる独立した直列ジョブをスケジューリングおよび管理するランタイムシステムを設計する。
• 大規模ジョブ実行における競合を低減し、スループットを向上させるために最適化されたI/O戦略を実装する。
• 軽量なプロセス管理とジョブディスpatchを用いて、タスクの起動および調整にかかるオーバーヘッドを最小限に抑える。
• 低遅延通信インターコネクトと高密度コンピューティングノードを活用し、効率的なジョブ配分を実現する。
• 既存のジョブ管理システムと統合することで、生産環境のスーパーコンピュータ上での互換性とシームレスな展開を確保する。
• 負荷分散およびフェイルセーフメカニズムを適用し、長時間実行されるワークロード中でも高い利用率と信頼性を維持する。

実験結果

リサーチクエスチョン

• RQ1 ペタスケールのシステム、例えば BlueGene/P や SiCortex SC5832 において、緩く結合された直列ジョブをどのように効率的にスケジューリングおよび実行できるか。
• RQ2 大規模ジョブ実行において生じるI/Oパフォーマンスのボトル neck は何か。また、それらはどのように緩和できるか。
• RQ3 現代のスーパーコンピュータ上で、既存の直列アプリケーションを変更せずにどれほどスケールして実行できるか。
• RQ4 提案手法を用いることで、これらのアーキテクチャ上での最大タスクスループットとスケーラビリティはどの程度達成できるか。
• RQ5 分子動力学やエネルギーモデリングなどの異なるアプリケーション分野において、フレームワークのパフォーマンスはどのように変化するか。

主な発見

• 本システムは、IBM BlueGene/P および SiCortex SC5832 の両方で、1秒間に数千件のタスクを継続的に実行する性能を達成した。
• BlueGene/P では最大4096プロセッサ、SiCortex では最大5832プロセッサまでスケーリングが可能であり、高い効率性を示した。
• I/O最適化によりボトル neck が顕著に低減され、大規模な環境でも高スループットのジョブ実行が可能になった。
• 経済的エネルギーモデリングや分子動力学からの実世界のアプリケーションが、優れたパフォーマンスとスケーラビリティを示した。
• 変更のない直列アプリケーションを大規模システム上で実行可能にし、利用可能なワークロードの範囲を拡大した。
• マイクロベンチマークおよび本番アプリケーションの両方で、フレームワークが高並列効率性を達成できることを確認した。