[論文レビュー] Towards Accommodating Real-time Jobs on HPC Platforms

Sam Nickolay, Eun-Sung Jung+2 more|arXiv (Cornell University)|Mar 24, 2021

Distributed and Parallel Computing Systems参考文献 49被引用数 6

ひとこと要約

本論文は、HPCプラットフォーム上でリアルタイムジョブを実行可能にするために、重み付きコストジョブスケジューリング（WCJS）と呼ばれる新しいヒューリスティックスケジューリングアルゴリズムと、ジャストインタイムチェックポイントによる予約を組み合わせることで、バッチジョブのパフォーマンスを著しく低下させることなく、リアルタイムジョブの実行を可能にする。ミラスーパーコンピュータのトレースデータを用いた実験では、リアルタイムジョブ負荷が10%の状況下で、リアルタイムジョブのスローダウンを35%削減し、バッチジョブのスローダウンはわずか10%増加に抑えられ、生産的HPCシステムへの実用的妥当性が示された。

ABSTRACT

Increasing data volumes in scientific experiments necessitate the use of high-performance computing (HPC) resources for data analysis. In many scientific fields, the data generated from scientific instruments and supercomputer simulations must be analyzed rapidly. In fact, the requirement for quasi-instant feedback is growing. Scientists want to use results from one experiment to guide the selection of the next or even to improve the course of a single experiment. Current HPC systems are typically batch-scheduled under policies in which an arriving job is run immediately only if enough resources are available; otherwise, it is queued. It is hard for these systems to support real-time jobs. Real-time jobs, in order to meet their requirements, should sometimes have to preempt batch jobs and/or be scheduled ahead of batch jobs that were submitted earlier. Accommodating real-time jobs may negatively impact system utilization also, especially when preemption/restart of batch jobs is involved. We first explore several existing scheduling strategies to make real-time jobs more likely to be scheduled in due time. We then rigorously formulate the problem as a mixed-integer linear programming for offline scheduling and develop novel scheduling heuristics for online scheduling. We perform simulation studies using trace logs of Mira, the IBM BG/Q system at Argonne National Laboratory, to quantify the impact of real-time jobs on batch job performance for various percentages of real-time jobs in the workload. We present new insights gained from grouping jobs into different categories based on runtime and the number of nodes used and studying the performance of each category. Our results show that with 10% real-time job percentages, just-in-time checkpointing combined with our heuristic can improve the slowdowns of real-time jobs by 35% while limiting the increase of the slowdowns of batch jobs to 10%.

研究の動機と目的

• 従来のバッチスケジューリングHPCシステムは、低遅延でオンデマンド実行をネイティブにサポートしていないため、リアルタイムジョブを統合する課題に対処すること。
• さまざまなジョブカテゴリを対象に、リアルタイムジョブがバッチジョブスループットおよびシステム利用率に与える影響を評価すること。
• リアルタイムジョブのプリエンプションと優先順位付けを可能にしつつ、バッチジョブへの影響を最小限に抑える実用的でスケーラブルなスケジューリングヒューリスティックを開発すること。
• 実世界のトレース上で有効性を検証するため、オフラインスケジューリングの最適解を提供する混合整数線形計画法（MILP）の定式化と、提案されたヒューリスティックを比較すること。

提案手法

• オフライン最適スケジューリングのための混合整数線形計画法（MILP）として、リアルタイムジョブスケジューリング問題を定式化し、ヒューリスティックのパフォーマンスをベンチマーク可能にする。
• 緊急度、リソース要件、プリエンプションの影響を考慮した重み付きコスト関数に基づき、リアルタイムジョブを優先順位付けする、新しいオンラインスケジューリングヒューリスティック「重み付きコストジョブスケジューリング（WCJS）」を設計。
• プリエンプションのオーバーヘッドを低減するため、プリエンプトされたバッチジョブの状態損失と再起動時間を最小限に抑える、ジャストインタイム（JIT）チェックポイントを導入。
• 実行時間とノード数に基づくジョブ分類（例：ナロウショート、ワイドロング）を用いて、ワークロードタイプごとのパフォーマンス変動を分析。
• アーロン国立研究所のミラIBM BG/Qシステムのトレースログを用い、リアルタイムジョブの割合が変動する（最大10%まで）実世界のHPCワークロードをシミュレート。
• 小規模な問題インスタンスにおいて、WCJSヒューリスティックと最適なMILP定式化を比較し、近似的最適性の妥当性を検証するとともに、改善の余地を同定。

実験結果

リサーチクエスチョン

• RQ1 バッチワークロードを伴うHPC環境において、リアルタイムジョブをサポートするために適応された従来のスケジューリング戦略は、どのように性能を示すか？
• RQ2 リアルタイムジョブがプリエンプションまたは優先順位付けを許可された場合、リアルタイムジョブの応答性とバッチジョブのスローダウンの間で、どのようなパフォーマンストレードオフが生じるか？
• RQ3 ジャストインタイムチェックポイントは、プリエンプションのオーバーヘッドをどの程度低減でき、リアルタイムジョブスケジューリング効率を向上させられるか？
• RQ4 ジョブスローダウンとリソース利用率の観点から、提案されたWCJSヒューリスティックは、最適なMILPベースのオフライン定式化と比べてどの程度の性能を示すか？
• RQ5 実行時間とノード数に基づくジョブカテゴリ（例：ナロウショート、ワイドロングなど）の中で、リアルタイムジョブのプリエンプションに対して最も感受性が強いのはどれか？また、そのようなジョブカテゴリに適したスケジューリングポリシーはどのように設計できるか？

主な発見

• ワークロードに10%のリアルタイムジョブが含まれる状況下で、提案されたWCJSヒューリスティックとジャストインタイムチェックポイントの組み合わせにより、リアルタイムジョブのスローダウンが1.94から1.25に低下し、35%の改善が達成された。
• 同じ設定でバッチジョブのスローダウンは2.26から2.51にわずか10%増加に抑えられ、従来のワークロードへの悪影響は最小限に抑えられた。
• リアルタイムジョブのパフォーマンス向上が最も顕著に現れたのはワイドロングカテゴリで、スローダウンが3.0から1.2（60%の低下）にまで低下した。またワイドナロウカテゴリでも、24.40から5.06にまで低下（80%の低下）した。
• ナロウショートジョブカテゴリは、もともと低いベースラインのスローダウン（1.94）のため、改善度は20%にとどまるが、負荷下でも妥当なスローダウンを維持している。
• 小規模なテストケースにおいて、WCJSヒューリスティックは最適なMILP定式化と比較して、リアルタイムジョブのスローダウンで38%、バッチジョブのスローダウンで69%悪いため、ヒューリスティックのさらなる最適化の余地がある。
• 本研究では、チェックポイント不能なバッチジョブが制限要因であることが判明した。これらのジョブは安全にプリエンプトできないため、ワークロード内での割合に応じてリアルタイムジョブのスローダウンが高くなる。