[論文レビュー] Job Scheduling in High Performance Computing

Yuping Fan|arXiv (Cornell University)|Sep 20, 2021

Cloud Computing and Resource Management参考文献 36被引用数 10

ひとこと要約

本論文は、リアルタイム監視、適応的意思決定、および動的フィードバックメカニズムを統合することで、システム効率性とジョブパフォーマンスを向上させるインテリジェントなHPCジョブスケジューリングフレームワークを提案する。このフレームワークは、スケーラビリティ、リソース競合、ワークロードの多様性に対処するため、リソースマネージャ、ジョブマネージャ、スケジューリング意思決定マネージャ、パフォーマンスモニタから構成されるモジュラーアーキテクチャを特徴としている。

ABSTRACT

The ever-growing processing power of supercomputers in recent decades enables us to explore increasing complex scientific problems. Effective scheduling these jobs is crucial for individual job performance and system efficiency. The traditional job schedulers in high performance computing (HPC) are simple and concentrate on improving CPU utilization. The emergence of new hardware resources and novel hardware structure impose severe challenges on traditional schedulers. The increasing diverse workloads, including compute-intensive and data-intensive applications, require more efficient schedulers. Even worse, the above two factors interplay with each other, which makes scheduling problem even more challenging. In recent years, many research has discussed new scheduling methods to combat the problems brought by rapid system changes. In this research study, we have investigated challenges faced by HPC scheduling and state-of-art scheduling methods to overcome these challenges. Furthermore, we propose an intelligent scheduling framework to alleviate the problems encountered in modern job scheduling.

研究の動機と目的

• バーストバッファやハイレグリスネットワークを含む、急速に進化するハードウェアアーキテクチャと多様で動的なワークロードの複雑化に対応する。
• CPU利用率を最優先とする伝統的なスケジューラ（例：FCFS、バックフィリング）の限界を克服し、ジョブパフォーマンスと公平性を重視する。
• 共有で異種的かつ動的リソースを有する大規模HPCシステムにおけるスケーラビリティと応答性を向上させる。
• 低遅延応答を求める時間的に敏感なワークロードや大規模ジョブの効率的実行といった、多様なシステム目標に適応可能なインテリジェントでポリシーに柔軟なスケジューリングを実現する。
• 継続的なジョブおよびシステム動作の監視を通じて、パフォーマンス劣化を検出し是正するフィードバック駆動型メカニズムを導入する。

提案手法

• リソースマネージャ、ジョブマネージャ、スケジューリング意思決定マネージャ、システムパフォーマンスモニタ、ジョブパフォーマンスモニタの5つのコアコンponentsを有するモジュラーイン telligentスケジューリングフレームワークを設計する。
• スケジューリング意思決定マネージャが、システム目標（例：公平性、リソース利用率、低遅延）に応じて動的にポリシーを選択可能とし、複数のスケジューリングアルゴリズムのプラグインを可能にする。
• システムおよびジョブのステータスのリアルタイム監視を実装し、長時間の待機時間、異常終了、リソース競合といった異常を検出する。
• パフォーマンスモニタからのフィードバックを活用してスケジューリング意思決定を適応的に調整し、長期的なシステム効率性を向上させる。
• 大規模HPCシステムにおける複雑なリソーストポロジーに適応するため、階層的かつ分散型スケジューリングの原則を統合する。
• 細粒度のリソース割り当てと動的リソース予約を可能にすることで、計算集約的およびデータ集約的ワークロードの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 現代のHPCスケジューラは、急速に進化するハードウェアアーキテクチャと多様で動的なワークロードの相互作用をどのように効果的に管理できるか？
• RQ2 公平性、リソース利用率、低遅延応答といった複数のシステム目標をサポートするインテリジェントで適応的なスケジューリングを実現するための、必要なアーキテクチャ的要素は何か？
• RQ3 リアルタイムのシステムおよびジョブパフォーランス監視をスケジューリングパイプラインに統合し、フィードバック駆動型最適化を可能にする方法は何か？
• RQ4 従来のスケジューラは、バーストバッファやハイレグリスネットワーク（例：Dragonfly）といった新規リソースをどのように拡張してサポートできるか？
• RQ5 共有で競合が生じやすいリソース環境下で、大規模HPC環境におけるスケーラビリティとフェイルセーフを保証するメカニズムは何か？

主な発見

• Slurm や Moab/TORQUE といった伝統的なHPCスケジューラは、静的ポリシーと動的ワークロード、新規ハードウェアに対する限界的なサポートのため、現代のシステムには不十分である。
• 提案されたインテリジェントフレームワークは、リアルタイムのシステムおよびジョブ監視に基づくスケジューリングポリシーの動的適応を可能とし、応答性と効率性の向上を実現する。
• パフォーマンスモニタコンponentは、長時間の待機時間や早期終了といった異常なジョブ行動を検出でき、事前のシステム干渉を可能にする。
• システムおよびジョブパフォーマンスモニタの統合により、特定のユーザー、プロジェクト、またはアプリケーションパターンに関連するパフォーマンスボトルネックを特定できる。
• フレームワークのモジュラード設計により拡張性が実現され、公平性、リソース利用率、低遅延応答といったサイト固有の目標に応じて、バックフィリング、遅延スケジューリング、WFPなどのさまざまなスケジューリングアルゴリズムを統合可能である。
• 階層的および分散型スケジューリングモデルをサポートすることで、複雑なリソーストポロジーと共有インfrastrucureを持つ大規模HPCシステムへのスケーリングが効果的に実現される。