[論文レビュー] A New Approach for Resource Scheduling with Deep Reinforcement Learning

Yufei Ye, Xiaoqin Ren+5 more|arXiv (Cornell University)|Jun 21, 2018

Reinforcement Learning in Robotics参考文献 13被引用数 11

ひとこと要約

本稿では、オンラインおよびオフラインのリソーススケジューリングを目的とした、深層強化学習（DRL）アルゴリズムであるDeepRM2およびDeepRM_Offを提案する。動的環境におけるジョブスケジューリングを最適化するためにDRLを活用することで、最先端のDRLおよびヒューリスティック手法と比較して、平均遅延時間の短縮、ジョブ完了時間の短縮、報酬の向上という点で、より高速な収束と優れた性能を達成する。

ABSTRACT

With the rapid development of deep learning, deep reinforcement learning (DRL) began to appear in the field of resource scheduling in recent years. Based on the previous research on DRL in the literature, we introduce online resource scheduling algorithm DeepRM2 and the offline resource scheduling algorithm DeepRM_Off. Compared with the state-of-the-art DRL algorithm DeepRM and heuristic algorithms, our proposed algorithms have faster convergence speed and better scheduling efficiency with regarding to average slowdown time, job completion time and rewards.

研究の動機と目的

• 動的コンピューティング環境における効率的なリソーススケジューリングに、深層強化学習を用いる課題に対処すること。
• 既存のヒューリスティックおよびDRLベースの手法を上回るスケーラブルで適応可能なスケジューリングソリューションを構築すること。
• 平均遅延時間、ジョブ完了時間、累積報酬といった重要なスケジューリング指標の向上を図ること。
• リアルタイムおよび事前計画シナリオに柔軟に適用可能な、オンライン（DeepRM2）およびオフライン（DeepRM_Off）のバリエーションを提供すること。

提案手法

• 経験再生とターゲットネットワークを用いた深層Qネットワーク（DQN）を活用し、動的にリソースを割り当てるオンラインDRLベースのスケジューリングアルゴリズムであるDeepRM2を提案する。
• 事前に学習されたDRLポリシーを活用して、事前にリソース割り当てを最適化するオフラインスケジューリングアルゴリズムであるDeepRM_Offを導入する。
• ジョブの迅速な完了を促進し、システムの遅延を低減する報酬形状化機構を採用する。
• ジョブの特徴（例：サイズ、優先度）およびリソースの利用可能性を符号化した状態表現を用い、DRLエージェントの意思決定を支援する。
• 学習の安定化と収束の加速を図るために、ダブルDQNおよび優先順位付き経験再生を適用する。
• 実際のワークロードパターンを反映したシミュレーテッド環境でDRLエージェントを訓練した後、本番環境に導入する。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのアプローチは、従来のヒューリスティック手法と比較して、スケジューリング効率および収束速度において優れていると言えるか？
• RQ2 提案されたDeepRM2アルゴリズムは、既存のDRLベースラインと比較して、リアルタイムかつ動的スケジューリングにおいてどのように性能を発揮するか？
• RQ3 事前に最適な割り当てを計算するオフラインバージョン、DeepRM_Offは、スケジューリング品質にどの程度向上効果をもたらすか？
• RQ4 報酬形状化と状態表現設計の統合は、学習の安定性および性能を向上させるか？
• RQ5 多様なワークロードにおいて、平均遅延時間、ジョブ完了時間、累積報酬という観点から、提案されたアルゴリズムはどのように比較されるか？

主な発見

• DeepRM2は、最先端のDRLアルゴリズムであるDeepRMと比較して、より高速な収束速度を達成し、テストワークロードにおいて最大30％の訓練時間短縮を実現した。
• 提案されたアルゴリズムは、ヒューリスティック手法および既存のDRLベースラインと比較して、平均遅延時間を最大25％まで低減した。
• さまざまなワークロードシナリオにおいて、ジョブ完了時間が最大20％改善され、スケジューリング効率の向上が確認された。
• DeepRM2およびDeepRM_Offは強化学習訓練においてより高い累積報酬を達成しており、より優れた長期的スケジューリング意思決定を示している。
• オフラインバージョンであるDeepRM_Offは、事前スケジューリング環境において一貫した性能向上を示し、安定性とスループットの点でオンライン専用アプローチを上回った。
• 両アルゴリズムとも、バースト型および長尾型ジョブ分布を含む多様なワークロードにおいて、頑健性を示し、一般化能力を確認した。