[논문 리뷰] A Hierarchical Framework of Cloud Resource Allocation and Power Management Using Deep Reinforcement Learning

Ning Liu, Zhe Li외 6명|arXiv (Cornell University)|2017. 03. 13.

IoT and Edge/Fog Computing인용 수 54

한 줄 요약

논문은 글로벌 DRL 기반 VM 할당 계층과 로컬 RL 기반 전력 관리 계층을 갖춘 계층적 DRL 프레이�워크를 제안하며, 고차원 상태 공간을 다루기 위해 autoencoder/가중치 공유를 사용하고 LSTM 워크로드 예측을 통해 DPM을 개선한다.

ABSTRACT

Automatic decision-making approaches, such as reinforcement learning (RL), have been applied to (partially) solve the resource allocation problem adaptively in the cloud computing system. However, a complete cloud resource allocation framework exhibits high dimensions in state and action spaces, which prohibit the usefulness of traditional RL techniques. In addition, high power consumption has become one of the critical concerns in design and control of cloud computing systems, which degrades system reliability and increases cooling cost. An effective dynamic power management (DPM) policy should minimize power consumption while maintaining performance degradation within an acceptable level. Thus, a joint virtual machine (VM) resource allocation and power management framework is critical to the overall cloud computing system. Moreover, novel solution framework is necessary to address the even higher dimensions in state and action spaces. In this paper, we propose a novel hierarchical framework for solving the overall resource allocation and power management problem in cloud computing systems. The proposed hierarchical framework comprises a global tier for VM resource allocation to the servers and a local tier for distributed power management of local servers. The emerging deep reinforcement learning (DRL) technique, which can deal with complicated control problems with large state space, is adopted to solve the global tier problem. Furthermore, an autoencoder and a novel weight sharing structure are adopted to handle the high-dimensional state space and accelerate the convergence speed. On the other hand, the local tier of distributed server power managements comprises an LSTM based workload predictor and a model-free RL based power manager, operating in a distributed manner.

연구 동기 및 목표

• 클라우드 데이터 센터에서 공동 VM 자원 할당과 동적 전력 관리(DPM)를 동기화하려는 동기를 제시한다.
• 글로벌 DRL 기반 할당자와 분산 로컬 전력 관리자를 포함하는 확장 가능한 계층형 아키텍처를 개발한다.
• 오토인코더와 가중치 공유를 통해 상태/행동 공간의 크기를 줄이고 수렴 속도를 개선한다.
• LSTM을 이용한 미래 워크로드 예측으로 DPM 의사결정을 강화한다.
• 실제 추적에서 전력/에너지 절약 및 지연과의 균형을 입증한다.

제안 방법

• 두 계층 계층 구조를 채택한다: 글로벌 DRL 기반 VM 할당자와 서버용 로컬 분산 전력 관리자를 포함한다.
• VM 도착 에포크에서 연속적 시간대의 이벤트 기반 의사결정을 사용하여 행위를 열거 가능한 상태로 유지한다.
• 오프라인 DNN(오토인코더 및 가중치 공유와 함께)을 사용하여 행위 선택을 위한 Q-값을 추정한다.
• 글로벌 계층에서 온라인 딥 Q-학습(SMDP)과 탐욕적 정책을 적용한다.
• 로컬 계층에서 LSTM 워크로드 예측자와 모델 프리 RL 전력 관리자를 사용하여 ON/OFF 의사결정을 수행한다.
• 학습을 안내하기 위해 총 전력, VM 수, 신뢰성을 선형 결합으로 포함하는 보상을 정의한다.

실험 결과

연구 질문

• RQ1 계층적 DRL 프레임워크가 고차원 클라우드 자원 할당 문제에서도 성능 보장을 유지하며 확장될 수 있는가?
• RQ2 가중치 공유를 가진 오토인코더를 통합하면 VM 할당을 위한 DRL 수렴성과 확장성이 개선되는가?
• RQ3 LSTM 기반 워크로드 예측은 분산 DPM 의사결정을 얼마나 효과적으로 향상시키는가?
• RQ4 제안된 프레임워크를 실제 워크로드 트레이스에서 사용했을 때 전력/에너지 절감 및 지연의 이득은 어떤가?

주요 결과

• 계층적 프레임워크는 구글 클러스터 트레이스에서 기본 프레임워크 대비 상당한 전력 및 에너지 절감을 달성한다(95,000개의 작업 요청이 있는 30-서버 클러스터에서 53.97%).
• 프레임워크는 서버 클러스터에서 지연 및 전력/에너지 소비 간 최적의 트레이드오프를 제공한다.
• 같은 에너지 사용으로 평균 작업당 지연 시간이 최대 16.16%까지 감소하고 같은 지연에서 평균 전력/에너지 절감은 최대 16.20%까지 나타난다.
• DRL 기반 글로벌 계층은 온라인 계산 복잡도가 낮으며 각 의사결정 에포크에서 서버 수에 따라 규모화된다.
• 가중치 공유 스킴을 가진 오토인코더는 수렴 속도를 높이고 서버 그룹 간 확장 가능한 Q-값 추정을 가능하게 한다.
• 로컬 계층은 LSTM 기반 워크로드 예측과 모델 프리 RL 전력 관리자를 결합하여 분산 DPM 의사결정을 구현한다.