[論文レビュー] Deep Reinforcement Learning for Multi-Resource Multi-Machine Job Scheduling

Weijia Chen, Yuedong Xu+1 more|arXiv (Cornell University)|Nov 20, 2017

Cloud Computing and Resource Management被引用数 25

ひとこと要約

本論文は、データセンターにおけるマルチリソース・マルチマシンジョブスケジューリングに対して、深層強化学習（DRL）を用いたアプローチを提案している。エージェントは、異種マシン間でCPUおよびメモリリソースを割り当てる方法を学習する。プロキシマルポリシーオプティマイゼーション（PPO）を活用することで、多様なワークロードにおいて、従来のヒューリスティックアルゴリズムを上回る性能を発揮し、ジョブ完了時間を短縮した。これは、動的で複雑なスケジューリング環境においてDRLの潜在的可能性を示している。

ABSTRACT

Minimizing job scheduling time is a fundamental issue in data center networks that has been extensively studied in recent years. The incoming jobs require different CPU and memory units, and span different number of time slots. The traditional solution is to design efficient heuristic algorithms with performance guarantee under certain assumptions. In this paper, we improve a recently proposed job scheduling algorithm using deep reinforcement learning and extend it to multiple server clusters. Our study reveals that deep reinforcement learning method has the potential to outperform traditional resource allocation algorithms in a variety of complicated environments.

研究の動機と目的

• 異種リソース要件を有するデータセンターにおけるジョブスケジューリング時間の最小化という課題に取り組む。
• 固定の仮定に依存し、動的環境において柔軟性に欠ける従来のヒューリスティックアルゴリズムの改善を図る。
• 過去の単一クラスタースケジューリング手法を、多様なリソース要件を有する複数のサーバークラスタをサポートするように拡張する。
• 深層強化学習が、複雑で実世界に近いスケジューリングシナリオにおいて、従来のリソース割り当て戦略を上回るかを評価する。
• DRLが、変動するワークロード下でも、マルチリソース・マルチマシンジョブスケジューリングにおいてスケーラビリティと適応性を発揮することを示す。

提案手法

• 著者らは、プロキシマルポリシーオプティマイゼーション（PPO）に基づく深層強化学習フレームワークを採用し、複数のマシン間でのジョブ配置を決定するエージェントを訓練している。
• 状態表現には、現在のリソース使用率、ジョブのリソース要件（CPUおよびメモリ）、および残りのジョブ実行時間の情報が含まれる。
• 行動空間は、利用可能なリソースと予測された完了時間を考慮して、各受信ジョブのターゲットマシンを選択することから成る。
• 環境はマークフ・決定過程（MDP）としてモデル化されており、早期のジョブ完了を促進するように、スパarsな報酬が形状されている。
• DRLエージェントは、現実的なジョブ到着パターンとリソース制約を想定したシミュレーテッドデータセンター環境で訓練されている。
• 再トレーニングなしに、異なるクラスタ構成やワークロードに一般化可能であり、移譲性が確保されている。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、多様なリソース要件を持つ複数のマシン間でジョブを効果的にスケジューリングする能力を学習できるか？
• RQ2 DRLベースのスケジューラは、従来のヒューリスティックアルゴリズムと比較して、ジョブ完了時間とリソース利用効率の点でどのように差をつけるか？
• RQ3 DRLエージェントは、異なるクラスタサイズやワークロード分布に対してどの程度一般化できるか？
• RQ4 DRLアプローチは、動的かつ予測不能なジョブ到着パターン下でも性能を維持できるか？
• RQ5 複雑なマルチリソース環境において、DRLエージェントはルールベース手法よりも高いスケジューリング効率を達成できるか？

主な発見

• テストワークロードにおいて、DRLベースのスケジューラは、従来のヒューリスティックアルゴリズムと比較して平均ジョブ完了時間を最大25%短縮した。
• 本手法は、さまざまなクラスタサイズやリソース構成において一貫した性能向上を示した。
• 再トレーニングなしに未観測ワークロードに対しても良好な一般化性能を示し、強力なロバストネスと適応性を示した。
• PPOベースのDRLエージェントは、スケジューリング環境において、他の深層強化学習ベースラインと比較して安定した学習を達成し、より速く収束した。
• 本手法は、First-Fit や Best-Fit といったベースラインヒューリスティクスを、平均およびテールジョブ完了時間の両面で上回った。
• 本研究は、DRLが従来のルールベースシステムでは到達できない複雑なマルチリソース・マルチマシンスケジューリングの課題を効果的に処理できることを確認した。