[論文レビュー] Deep Reinforcement Learning-based Methods for Resource Scheduling in Cloud Computing: A Review and Future Directions

Guangyao Zhou, Wenhong Tian+3 more|arXiv (Cornell University)|May 10, 2021

Cloud Computing and Resource Management参考文献 160被引用数 26

ひとこと要約

この論文は、 DRL ベースの資源スケジューリングをクラウドコンピューティングにおいて概観し、モデル・目的・課題を整理し、スケジューリングにおける DRL の今後の方向性を論じる。

ABSTRACT

As the quantity and complexity of information processed by software systems increase, large-scale software systems have an increasing requirement for high-performance distributed computing systems. With the acceleration of the Internet in Web 2.0, Cloud computing as a paradigm to provide dynamic, uncertain and elastic services has shown superiorities to meet the computing needs dynamically. Without an appropriate scheduling approach, extensive Cloud computing may cause high energy consumptions and high cost, in addition that high energy consumption will cause massive carbon dioxide emissions. Moreover, inappropriate scheduling will reduce the service life of physical devices as well as increase response time to users' request. Hence, efficient scheduling of resource or optimal allocation of request, that usually a NP-hard problem, is one of the prominent issues in emerging trends of Cloud computing. Focusing on improving quality of service (QoS), reducing cost and abating contamination, researchers have conducted extensive work on resource scheduling problems of Cloud computing over years. Nevertheless, growing complexity of Cloud computing, that the super-massive distributed system, is limiting the application of scheduling approaches. Machine learning, a utility method to tackle problems in complex scenes, is used to resolve the resource scheduling of Cloud computing as an innovative idea in recent years. Deep reinforcement learning (DRL), a combination of deep learning (DL) and reinforcement learning (RL), is one branch of the machine learning and has a considerable prospect in resource scheduling of Cloud computing. This paper surveys the methods of resource scheduling with focus on DRL-based scheduling approaches in Cloud computing, also reviews the application of DRL as well as discusses challenges and future directions of DRL in scheduling of Cloud computing.

研究の動機と目的

• クラウドコンピューティングの発展をレビューし、スケジューリング手法と最適化目的を分類する。
• クラウドコンピューティングにおけるさまざまな目的のためのスケジューリングモデルを要約する。
• スケジューリングにおけるDRLの適用を議論し、非DRL法と比較する。
• クラウドコンピューティングにおけるDRL駆動型スケジューリングの課題を特定し、今後の方向性を提案する。

提案手法

• クラウドコンピューティングにおけるスケジューリングの目的と最適化問題を分類する（例：エネルギー、メイクスパン、遅延、負荷分散、利用率、コスト）。
• リソーススケジューリングのタスクとリソースに関する数学モデルと記法を分析する。
• スケジューリング問題で使用されるRLおよびDRLの構造とアーキテクチャを調査する。
• クラウドスケジューリングの文献におけるDRLベースの手法と非DRL手法を比較する。
• 現実的なクラウドスケジューリングシナリオへのDRL適用における課題と今後の方向性を議論する。

実験結果

リサーチクエスチョン

• RQ1 クラウドコンピューティングにおける資源スケジューリングに用いられるDRLベースのアプローチは何か？
• RQ2 DRL法は非DRL法と比較して共通のスケジューリング目的においてどうか？
• RQ3 クラウド資源スケジューリングにおけるDRLの主な課題と有望な方向性は何か？

主な発見

• 深層学習と強化学習を組み合わせたDRLは、複雑なクラウドスケジューリングシナリオに潜在能力を示す。
• 本論文はDRLスケジューリング手法を網羅し、それらと非DRL手法との関連を論じる。
• DRLをクラウド資源スケジューリングへ適用する際の主要な課題と今後の方向性を特定する。
• 本研究はこの領域でのDRL応用と今後の研究ニーズに対する専門的な観点を提供することを目的とする。