[論文レビュー] Many-Task Computing and Blue Waters

Daniel S. Katz, Timothy G. Armstrong+3 more|arXiv (Cornell University)|Feb 17, 2012

Distributed and Parallel Computing Systems参考文献 37被引用数 14

ひとこと要約

この論文は、ブルー・ウォーターズスーパーコンピュータにおける多数タスクコンピューティング（MTC）ワークロードの強化を提唱し、MTCの独自の要件——例えば、低遅延のタスクディスpatch、効率的なI/O、動的リソースプロビジョニング——を最適化するためのアーキテクチャ的・方針的変更を提案している。同時に、MTCアプリケーションがブルー・ウォーターズ上で最小限の変更で実行可能であり、特定のミドルウェアおよびスケジューリングの改善により顕著な恩恵を受ける可能性があることを示している。

ABSTRACT

This report discusses many-task computing (MTC) generically and in the context of the proposed Blue Waters systems, which is planned to be the largest NSF-funded supercomputer when it begins production use in 2012. The aim of this report is to inform the BW project about MTC, including understanding aspects of MTC applications that can be used to characterize the domain and understanding the implications of these aspects to middleware and policies. Many MTC applications do not neatly fit the stereotypes of high-performance computing (HPC) or high-throughput computing (HTC) applications. Like HTC applications, by definition MTC applications are structured as graphs of discrete tasks, with explicit input and output dependencies forming the graph edges. However, MTC applications have significant features that distinguish them from typical HTC applications. In particular, different engineering constraints for hardware and software must be met in order to support these applications. HTC applications have traditionally run on platforms such as grids and clusters, through either workflow systems or parallel programming systems. MTC applications, in contrast, will often demand a short time to solution, may be communication intensive or data intensive, and may comprise very short tasks. Therefore, hardware and software for MTC must be engineered to support the additional communication and I/O and must minimize task dispatch overheads. The hardware of large-scale HPC systems, with its high degree of parallelism and support for intensive communication, is well suited for MTC applications. However, HPC systems often lack a dynamic resource-provisioning feature, are not ideal for task communication via the file system, and have an I/O system that is not optimized for MTC-style applications. Hence, additional software support is likely to be required to gain full benefit from the HPC hardware.

研究の動機と目的

• 多数タスクコンピューティング（MTC）アプリケーションの特徴と、従来のHPCおよびHTCワークロードと比較した際の独自の要件を分析すること。
• ブルー・ウォーターズのような既存のHPCシステムが、MTCワークロードのサポートにおいて、特にタスクスケジューリング、I/O、通信の面で抱える制限を特定すること。
• ブルー・ウォーターズがMTCアプリケーションを効果的にサポートできるよう、大規模なアーキテクチャ的変更を伴わずに実現可能な、具体的なハードウェアおよびソフトウェアの強化策を提案すること。
• 実装パラダイムではなく科学的価値と結果の迅速性に基づいて、MTCアプリケーションが能力クラスリソースにアクセスできるようにするための方針変更を提唱すること。
• 緊急事態（例：健康や気候の緊急事態）に伴う即時実行を要するMTCアプリケーションが、最小限のシステム変更でブルー・ウォーターズ上でより速い時間内に結果を得られることを実証すること。

提案手法

• MTCアプリケーション（例：AstroPortal, BLAST, Montage, OOPS）の調査を通じて、共通のパターンとシステム要件を抽出した。
• タスク粒界、データ依存構造、I/O通信パターンに基づいてMTCアプリケーションを分類した。
• 生産環境のHPCおよびグリッドシステム（例：BG/P, XT5, Constellation）の能力を評価し、MTCワークロードをサポートする面でのギャップを同定した。
• コンピュータノードに完全なLinuxセマンティクスの導入、中間データ用のローカルファイルシステム、ワークフロー・マネージャーに直接アクセス可能なユーティリティワーカーノードといった、アーキテクチャ的強化を提案した。
• 柔軟なスケジューリング粒界と、ユーザーフレンドリーなAPIを通じた通信ファブリックへの直接アクセスを推奨し、MTCミドルウェア統合の向上を図った。
• I/Oプロセッサの導入を提言し、ミドルウェア処理をオフロードし、主要コンピュータノードの競合を低減することを主張した。

実験結果

リサーチクエスチョン

• RQ1 MTCアプリケーションは、タスク構造、通信、I/Oパターンの観点から、従来のHPCおよびHTCワークロードとどのように異なるか？
• RQ2 ブルー・ウォーターズのような既存のHPCシステムに、MTCワークロードの効率的実行を阻害する具体的なハードウェアおよびソフトウェア的制限は何か？
• RQ3 ブルー・ウォーターズがMTCアプリケーションを低ディスpatch遅延と高いI/Oスルーレットで効率的にサポートできるようになるために、どのようなアーキテクチャ的およびミドルウェア的強化が必要か？
• RQ4 MTCアプリケーションが実装スタイルではなく科学的価値に基づいて能力クラスリソースに公平にアクセスできるようにするには、どのようなシステムポリシーの見直しが必要か？
• RQ5 ブルー・ウォーターズのようなシステムで、MTCと細粒度並列処理（例：MPI/OpenMP）を組み合わせたハイブリッドモデルが、MTCアプリケーションにどの程度恩恵をもたらすか？

主な発見

• MTCアプリケーションは、多数の短時間で終了するデータ依存型タスクを含み、通信およびI/Oの要求が極めて高い点で、従来のHPCおよびHTCワークロードとは明確に異なる。
• ブルー・ウォーターズは、大規模な再設計を伴わずにMTCアプリケーションを技術的にサポート可能であるが、現在のアーキテクチャではMTCワークロードに最適化された動的リソースプロビジョニングとI/O性能が欠如している。
• 完全なLinuxセマンティクス、コンピュータノード内にローカルファイルシステムを導入し、直接ネットワークにアクセス可能なユーティリティワーカーノードを提供することで、MTCのサポートが著しく向上し、システムへの影響は最小限に抑えられる。
• 柔軟なスケジューリング粒界と、通信ファブリックへの直接アクセスは、効率的なMTCミドルウェア実行およびワークフロー調整に不可欠である。
• 本研究では、MTCアプリケーションが、性能が低いシステムを統合した環境よりもブルー・ウォーターズ上でより速い時間内に結果を得られることを確認した。特に、感染症の流行予測や気候緊急事態のシナリオなど、緊急を要する状況で顕著な恩恵が得られる。
• MTCアプリケーションがモノリス型MPIや共有メモリモデルで実装されていないため、単にリソース割り当てで不利にならないようにするための方針変更が不可欠である。