[論文レビュー] A Hierarchical Framework of Cloud Resource Allocation and Power Management Using Deep Reinforcement Learning

Ning Liu, Zhe Li+6 more|arXiv (Cornell University)|Mar 13, 2017

IoT and Edge/Fog Computing被引用数 54

ひとこと要約

本論文は、グローバルDRLベースのVM割り当て層とローカルRLベースの電力管理層を持つ階層型DRLフレームワークを提案し、オートエンコーダ/ウェイト共有を用いて高次元状態空間に対処し、LSTMワークロード予測によりDPMを改善します。

ABSTRACT

Automatic decision-making approaches, such as reinforcement learning (RL), have been applied to (partially) solve the resource allocation problem adaptively in the cloud computing system. However, a complete cloud resource allocation framework exhibits high dimensions in state and action spaces, which prohibit the usefulness of traditional RL techniques. In addition, high power consumption has become one of the critical concerns in design and control of cloud computing systems, which degrades system reliability and increases cooling cost. An effective dynamic power management (DPM) policy should minimize power consumption while maintaining performance degradation within an acceptable level. Thus, a joint virtual machine (VM) resource allocation and power management framework is critical to the overall cloud computing system. Moreover, novel solution framework is necessary to address the even higher dimensions in state and action spaces. In this paper, we propose a novel hierarchical framework for solving the overall resource allocation and power management problem in cloud computing systems. The proposed hierarchical framework comprises a global tier for VM resource allocation to the servers and a local tier for distributed power management of local servers. The emerging deep reinforcement learning (DRL) technique, which can deal with complicated control problems with large state space, is adopted to solve the global tier problem. Furthermore, an autoencoder and a novel weight sharing structure are adopted to handle the high-dimensional state space and accelerate the convergence speed. On the other hand, the local tier of distributed server power managements comprises an LSTM based workload predictor and a model-free RL based power manager, operating in a distributed manner.

研究の動機と目的

• クラウドデータセンターにおけるVMリソース割り当てと動的電力管理（DPM）の共同推進を目指す。
• グローバルDRLベースの割り当て機と分散型ローカル電力管理機を備えた、スケーラブルな階層構造を開発する。
• オートエンコーダと共有ウェイトを用いて状態空間/行動空間のサイズを削減し、収束性を向上させる。
• LSTMを用いて将来のワークロードを予測し、DPMの意思決定を強化する。
• 実データトレース上での電力/エネルギー節約と遅延トレードオフを示す。

提案手法

• グローバルDRLベースのVM割り当て機とサーバー用のローカル分散電力管理機を組み合わせた二層階層を採用する。
• VM到着エポックで連続時間・イベント駆動の意思決定を行い、行動を列挙可能に保つ。
• オフラインDNN（オートエンコーダとウェイト共有を含む）を用いて行動選択のQ値を推定する。
• グローバル層にはε-greedy方策を用いたオンライン深層Q学習（SMDP）を適用する。
• ローカル階層ではLSTMワークロード予測子とモデルフリーRL電力管理機を組み合わせてON/OFF意思決定を行う。
• 学習を導くため、総電力、VM数、信頼性を線形結合した報酬を定義する。

実験結果

リサーチクエスチョン

• RQ1 階層型DRLフレームワークは、パフォーマンス保証を維持しつつ高次元のクラウドリソース割り当て問題にスケールできるか？
• RQ2 ウェイト共有を備えたオートエンコーダの統合は、VM割り当てにおけるDRLの収束性とスケーラビリティを改善するか？
• RQ3 分散DPM意思決定を強化するうえで、LSTMベースのワークロード予測はどの程度効果的か？
• RQ4 提案フレームワークを実ワークロードトレースで使用した場合の電力/エネルギー節約と遅延トレードオフの利得はどの程度か？

主な発見

• 階層型フレームワークは、Googleクラスタトレースにおいてベースラインに対して顕著な電力・エネルギー節約を達成する（30サーバークラスタで95,000ジョブ要求時に53.97%）。
• 本フレームワークはサーバークラスタにおける遅延と電力/エネルギー消費の最良のトレードオフを提供する。
• 同じエネルギー使用量でジョブあたりの平均遅延を最大16.16%節約し、同じ遅延で平均電力/エネルギー節約を最大16.20%達成。
• DRLベースのグローバル層はオンライン計算複雑さが低く、各意思決定エポックでサーバ数に比例してスケールする。
• ウェイト共用スキームを備えたオートエンコーダは収束を加速し、サーバーグループ間でスケーラブルなQ値推定を可能にする。
• ローカル階層はLSTMベースのワークロード予測とモデルフリーRL電力管理機を組み合わせて分散DPM意思決定を実装する。