[論文レビュー] METAQ: Bundle Supercomputing Tasks

Evan Berkowitz|arXiv (Cornell University)|Feb 20, 2017

Distributed and Parallel Computing Systems被引用数 14

ひとこと要約

METAQ は、大規模割り当てに対する割引やインcentiveを活用するため、HPC タスクをより大きなジョブに束ねる軽量な bash ベースのシステムであり、短いタスクの動的バックフィリングを可能にすることで、無駄な停止時間を削減する。ジョブ送信とタスク定義を分離することで、共同作業が可能になり、計算サイクルの無駄を、単純な束ね方と比較して最大 75% 減少させる。

ABSTRACT

We describe a light-weight system of bash scripts for efficiently bundling supercomputing tasks into large jobs, so that one can take advantage of incentives or discounts for requesting large allocations. The software can backfill computational tasks, avoiding wasted cycles, and can streamline collaboration between different users. It is simple to use, functioning similarly to batch systems like PBS, MOAB, and SLURM.

研究の動機と目的

• 小さなタスクを束ねることによる、実行時間のばらつきとノードの未使用状態に起因するスーパーコンピュータタスクスケジューリングの非効率を是正すること。
• パフォーマンスやスループットを損なわず、ユーザーが大規模ジョブのインcentive や割引を活用できるようにすること。
• タスク定義とジョブ送信を分離することで、複数のユーザーが共有ジョブにタスクを貢献できるようにし、共同作業を簡素化すること。
• 大規模ジョブの割り当て内での短いタスクの動的バックフィリングにより、無駄な計算サイクルを削減すること。
• 既存の HPC バッチシステム（SLURM、PBS、MOAB など）に統合可能な、シンプルでポータブルかつ無料のツールを提供すること。

提案手法

• ユーザーは、リソースと環境仕様を記述したタスクスクリプトを、指定されたフォルダに保存する。ジョブスクリプトとは別に管理される。
• バッチスケジューラに、割り当てサイズと METAQ 設定を指定したジョブスクリプトを送信する。
• METAQ は、割り当てられたノード上でタスクフォルダから動的にタスクを起動し、実行とリソース使用を管理する。
• 長時間実行されるタスクの空き時間を活用して、短いタスクをインタリーブすることでバックフィリングを実現し、ノードの停止時間を最小限に抑える。
• 複数のユーザーが共有タスクフォルダのタスクを消費するジョブスクリプトを送信できるようにし、協働を支援する。
• METAQ はすべてのタスクとシステム動作をログに記録し、日付ベースでの削除により手動で古いログとジョブをクリーンアップ可能である。

実験結果

リサーチクエスチョン

• RQ1 HPC ワークロードを効率的に束ねることで、無駄な停止時間を削減し、大規模割り当てのリソース利用を向上させることは可能か？
• RQ2 ジョブ内での個々のタスクの動的バックフィリングは、単純な束ね方と比較して、無駄な計算サイクルをどの程度削減できるか？
• RQ3 異なったスケジューラーとリソースポリシーを持つ HPC 環境において、複数ユーザー間の協働をどのように簡素化できるか？
• RQ4 低レベルのタスクマネージャーと比較して、軽量な bash スクリプトを使用する際のパフォーマンスとスケーラビリティのトレードオフは何か？
• RQ5 既存の HPC インfraストラクチャを変更することなく、シンプルでポータブルなシステムが、複雑で大規模な HPC ワークロードを効果的に管理できるか？

主な発見

• 類似する 8 ノードタスクを単純に束ねた場合、実行時間のばらつきとパフォーマンス差の影響で、約 25% の計算時間の無駄が生じた。
• METAQ を用いた動的バックフィリングにより、停止時間が約 5% にまで低下し、リソース効率が 75% 向上した。
• 停止時間の短縮により得られる実効的な計算スループットの向上は約 1.27× であり、27% のパフォーマンス向上に相当する。
• METAQ により、CalLat コラボレーションは、6500 万ノード時間の INCITE 割り当てを、約 5 ヶ月で 256〜512 ノードのジョブを用いて効率的に消費できた。
• 複数の共同研究者が共有タスクスクリプトを消費するジョブスクリプトを送信でき、作業の中断を伴わずに協働性と優先順位の蓄積が向上した。
• Titan での初期段階でサービスノードの負荷が高くなったが、再設定されたリソース制限内で使用した場合、システムは堅牢でスケーラブルであることが確認された。