[論文レビュー] RLScheduler: Learn to Schedule HPC Batch Jobs Using Deep Reinforcement Learning.

Di Zhang, Dong Dai+2 more|arXiv (Cornell University)|Oct 20, 2019

Cloud Computing and Resource Management被引用数 5

ひとこと要約

RLScheduler は、事前の知識なしに最適なスケジューリングポリシーを自律的に学習する HPC ワークロード向けの深層強化学習ベースのジョブスケジューラである。異なるワークロードにわたる学習済みルールの一般化と、変化する目標やシステム状態への適応性により、ヒューリスティック法および手動でチューニングされた機械学習ベースのスケジューラーを凌駕する。

ABSTRACT

We present RLScheduler, a deep reinforcement learning based job scheduler for scheduling independent batch jobs in high-performance computing (HPC) environment. From knowing nothing about scheduling at beginning, RLScheduler is able to autonomously learn how to effectively schedule HPC batch jobs, targeting a given optimization goal. This is achieved by deep reinforcement learning with the help of specially designed neural network structures and various optimizations to stabilize and accelerate the learning. Our results show that RLScheduler can outperform existing heuristic scheduling algorithms, including a manually fine-tuned machine learning-based scheduler on the same workload. More importantly, we show that RLScheduler does not blindly over-fit the given workload to achieve such optimization, instead, it learns general rules for scheduling batch jobs which can be further applied to different workloads and systems to achieve similarly optimized performance. We also demonstrate that RLScheduler is capable of adjusting itself along with changing goals and workloads, making it an attractive solution for the future autonomous HPC management.

研究の動機と目的

• 事前の分野知識なしに最適なスケジューリングポリシーを学習する HPC 環境向け自律ジョブスケジューラの開発。
• 従来のヒューリスティックアルゴリズムおよび手動でチューニングされた機械学習ベースのスケジューラーを上回るスケジューリングパフォーマンスの向上。
• 異なるワークロードおよびシステム構成にわたる学習済みスケジューリングルールの一般化を可能にする。
• 最適化目標やワークロード特性の変化に応じてスケジューリングポリシーを動的に適応可能にする。

提案手法

• RLScheduler は、試行錯誤による環境フィードバックから学習するスケジューラエージェントを、深層強化学習で訓練する。
• 状態行動価値関数を表現するために特別に設計されたニューラルネットワークアーキテクチャを用い、学習の安定性を向上させる。
• RLエージェントの訓練プロセスを高速化および安定化するための多様な最適化技術を統合する。
• ジョブのターンアラウンド時間の最小化などの与えられた最適化目標と整合する報酬信号を最大化するようにエージェントを訓練する。
• 手動で作成されたルールに依存せずに、ジョブおよびシステムの状態からスケジューリング意思決定へのポリシーを学習する。
• 訓練済みワークロードを超えて一般化できるように設計されており、新しいワークロードおよび HPC 環境への移行を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、事前のスケジューリング知識なしに HPC 環境で効果的なジョブスケジューリングポリシーを学習できるか？
• RQ2 RLScheduler は訓練ワークロードを超えて、未観測のワークロードでも最適化されたパフォーマンスを達成できるか？
• RQ3 最適化目標やワークロードが変化した場合に、RLScheduler はスケジューリングポリシーを動的に適応できるか？
• RQ4 RLScheduler はヒューリスティック法および手動でチューニングされた機械学習ベースのスケジューラーと比較して、パフォーマンスで優れているか？

主な発見

• RLScheduler は、ジョブのターンアラウンド時間などのスケジューリング最適化目標において、既存のヒューリスティックスケジューリングアルゴリズムを上回る。
• 同じワークロード上で手動で最適化された機械学習ベースのスケジューラーをも凌駆する結果となり、優れた学習能力を示している。
• 新しいワークロードおよびシステム構成に対しても良好に一般化しており、学習済みデータに過剰適合せず、移譲可能なスケジューリングルールを学習していることが示唆される。
• 最適化目標やワークロード特性の変化に応じて、RLScheduler はスケジューリングポリシーを動的に適応できる。
• 専用のニューラルネットワーク構造と訓練最適化の活用により、スケジューリングポリシーの安定的かつ効率的な学習が可能になった。