[論文レビュー] Reinforcement-Learning-based Foresighted Task Scheduling in Cloud Computing.

Seyedakbar Mostafavi, Fatemeh Ahmadi+1 more|arXiv (Cornell University)|Oct 10, 2018

Cloud Computing and Resource Management参考文献 4被引用数 5

ひとこと要約

本論文は、変動するユーザーリクエストに動的に適応できる強化学習（RL）に基づく先見的なタスクスケジューリング手法を提案する。環境からのフィードバックを通じて最適なスケジューリング方策を学習することで、応答時間を最大49.52%短縮し、マクスペンを低減するとともにリソース効率を向上させ、すべての指標でRandom、Mix、FIFO、Greedy、Q-schアルゴリズムを上回る性能を発揮する。

ABSTRACT

With the apperance of cloud computing, users receive computing resources according to pay as you go of cloud service provider. An optimized scheduling approach for mapping all the tasks to the resources is an essential problem due to the limitations and dynamics of resources for requests which vary during the time. This solution may lead to improvement of system's efficiency. There are different methods for cloud computing scheduling with different parameters such as response time, makespan, waiting time, energy consumption, cost, utilization rate, and load balancing. But many of these methods are not suitable for improving scheduling performance in a condition that users requests change during the time. So in this thesis a scheduling method based on reinforcement learning is proposed. Adopting with environment conditions and responding to unsteady requests, reinforcement learning can cause a long-term increase in system's performance. The results show that this proposed method can not only reduce the response time and makespan but also increase resource efficiency as a minor goal. Our proposed illustrates improvements in response time for 49.52%, 46.03%, 43.99%, 43.53% and 38.68% over Random, Mix, FIFO, Greedy and Q-sch algorithms, respectively.

研究の動機と目的

• クラウドコンピューティング環境における動的で予測不能なユーザーリクエストの課題に対処すること。
• 応答時間、マクスペン、リソース利用率などの主要スケジューリング指標を最適化することで、システム効率を向上させること。
• 時間変動するワークロードでは失敗する静的またはヒューリスティックベースのスケジューリング手法の限界を克服すること。
• 環境フィードバックから学習する長期的かつ適応的なスケジューリング戦略を構築し、システムパフォーマンスを向上させること。
• FIFO、Greedy、Q-schなどの既存アルゴリズムと比較して優れた性能を達成すること。

提案手法

• タスクスケジューリングを段階的意思決定問題としてモデル化するため、強化学習を採用する。
• システム状態を観測し、タスクをリソースにマッピングする行動をとるRLエージェントを設計し、パフォーマンス指標に基づいて報酬を受信する。
• 応答時間、マクスペン、リソース利用率を統合した報酬関数を用いて学習を誘導する。
• シミュレートされたクラウド環境との相互作用を通じて、最適なスケジューリング方策を学習可能にする。
• 時系列差分学習の原則を適用し、Q値を更新することで意思決定能力を時間経過とともに向上させる。
• リアルタイムのフィードバックに基づいて継続的に方策を更新することで、変化するワークロードへの適応性を確保する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、動的で変化しやすいクラウドコンピューティング環境におけるタスクスケジューリングを効果的に改善するためにどのように適用可能か？
• RQ2 従来のアルゴリズムと比較して、RLベースのスケジューラーは応答時間とマクスペンをどの程度短縮できるか？
• RQ3 変動するユーザーリクエストの下でも、RLベースのアプローチは高いリソース利用率と負荷分散を維持できるか？
• RQ4 本手法は、リアルタイムのシナリオにおいて、FIFO、Greedy、Q-schなどの既存スケジューリングアルゴリズムをどのように上回るか？
• RQ5 先見的なスケジューリングの長期的影響は、システム効率とパフォーマンスにどのような影響を与えるか？

主な発見

• 提案されたRLベースのスケジューラーは、Randomアルゴリズムと比較して応答時を49.52%短縮した。
• Mixアルゴリズムと比較して、応答時間に46.03%の改善を達成した。
• FIFOアルゴリズムと比較して、応答時間に43.99%の低減が観察された。
• Greedyアルゴリズムと比較して、応答時間に43.53%の低減が得られた。
• Q-schアルゴリズムと比較して、応答時間に38.68%の改善が得られた。
• このアプローチは、二次的な利点としてリソース効率を向上させ、全体のシステムパフォーマンスに寄与した。