[論文レビュー] ROME: A Multi-Resource Job Scheduling Framework for Exascale HPC Systems

Yuping Fan|arXiv (Cornell University)|Aug 18, 2021

Distributed and Parallel Computing Systems参考文献 8被引用数 7

ひとこと要約

ROMEは、エクサスケールHPCシステム向けのマルチリソースジョブスケジューリングフレームワークであり、遺伝的アルゴリズムを用いて計算ノード、バーストバッファ、メモリなどの多様なリソースの利用を最適化する。ウィンドウベースのメカニズムによりジョブの公平性を維持する。トレースベースのシミュレーションでMiraのログを用いた結果、リソース利用効率を最大20%向上させ、平均ジョブ待機時間を短縮した。

ABSTRACT

High-performance computing (HPC) is undergoing significant changes. Next generation HPC systems are equipped with diverse global and local resources, such as I/O burst buffer resources, memory resources (e.g., on-chip and off-chip RAM, external RAM/NVRA), network resources, and possibly other resources. Job schedulers play a crucial role in efficient use of resources. However, traditional job schedulers are single-objective and fail to efficient use of other resources. In this paper, we propose ROME, a novel multi-dimensional job scheduling framework to explore potential tradeoffs among multiple resources and provides balanced scheduling decision. Our design leverages genetic algorithm as the multi-dimensional optimization engine to generate fast scheduling decision and to support effective resource utilization.

研究の動機と目的

• 計算ノード、バーストバッファ、メモリ、ネットワークなどの多様なグローバルおよびローカルリソースを統合するエクサスケールHPCシステムの複雑化に対応する。
• 複数のリソースタイプを効率的に管理できない従来の単一目的のジョブスケジューラーの限界を克服する。
• 30秒未満という厳密な時間制約の下で、多次元最適化を処理できるスケーラブルでリアルタイムのスケジューリングソリューションを開発する。
• ウィンドウベースのメカニズムを用いてジョブの順序を保持することで、公平性とパフォーマンスの両立を図る。
• 意思決定者を用いて、計算リソースの利用を最優先しつつ、他のリソース利用の向上を実現する、競合するリソース目的間の有効なトレードオフを可能にする。

提案手法

• 待ち行列をソートした後、最初のw個のジョブを選択するウィンドウベースのメカニズムを採用し、スケジューリングの範囲を制限するとともに公平性を維持する。
• 多次元スケジューリング問題を二目的最適化問題として定式化：リソース容量制約の下で、計算ノードの利用とバーストバッファの利用を最大化する。
• 遺伝的アルゴリズム（GA）を用いて、巨大な解空間（2^w）を効率的に探索し、30秒以内に非支配的（non-dominated）なスケジューリング解を生成する。
• 世代を跨いで交差と変異のGA操作を適用し、高品質なスケジューリング解を段階的に進化させる。
• 意思決定者では、まず計算リソース利用を最大化する解を選択し、その後、他のリソース利用が10%未満の計算リソース利用の低下を伴って40%以上向上する場合にのみ、その解を置き換える。
• ジョブの提出または完了に伴いトリガーされる各スケジューリングインスタンスにおいて、リアルタイムのリソース利用状況データ（例：使用済みノード、バーストバッファ、メモリ）をスケジューラーに統合する。

実験結果

リサーチクエスチョン

• RQ1 エクサスケールHPCシステムにおいて、計算リソース、バーストバッファ、メモリなどの多様な非均質リソースを、ジョブスケジューラーが効果的に管理する方法は何か？
• RQ2 遺伝的アルゴリズムが、時間制約のある多次元リソース環境におけるスケジューリング性能と解の品質に与える影響は何か？
• RQ3 ウィンドウベースのメカニズムは、効率的な多次元リソース最適化を可能にしつつ、ジョブの公平性を維持できるか？
• RQ4 非支配的最適解の集合から1つの好ましい解を選択するための有効なトレードオフ戦略は何か？
• RQ5 多次元スケジューリングは、実際のHPCワークロードにおいて、ジョブの待機時間をどの程度短縮し、リソース利用効率を向上させられるか？

主な発見

• トレースベースのシミュレーション（Miraログを用いて）の結果、ROMEは従来のスケジューラーと比較して、全体のシステムリソース利用効率を最大20%向上させた。
• フレームワークは、計算、バーストバッファ、メモリリソースの間でリソース割り当てを効果的にバランスさせることで、平均ジョブ待機時間を短縮した。
• 遺伝的アルゴリズムソルバーは、必要な30秒以内に高品質なスケジューリング解を生成でき、リアルタイム導入に適していることが示された。
• 意思決定者が計算リソース利用を最優先しつつ、他のリソース利用を40%以上向上させ、計算パフォーマンスの低下を10%未満に抑えることで、好ましい解を効果的に同定した。
• ウィンドウベースのメカニズムは、ジョブの順序と公平性を維持しながら、大規模なジョブキューのスケーラブルなスケジューリングを可能にした。
• 多次元最適化モデルは、システム全体のリソース制約下で、バーストバッファと計算ノードの利用の間のトレードオフを効果的に捉えていた。