[논문 리뷰] Automated Cloud Provisioning on AWS using Deep Reinforcement Learning

Zhiguang Wang, C. Gwon외 2명|arXiv (Cornell University)|2017. 09. 13.

Network Security and Intrusion Detection참고 문헌 15인용 수 29

한 줄 요약

이 논문은 비용과 성능을 균형 있게 유지하는 정책을 학습함으로써 AWS 클라우드 프로비저닝을 자동화하기 위해 딥 강화학습(DRL)을 사용하는 것을 제안한다. 이는 전통적인 임계값 기반 오토스케일링보다 우수한 성능을 보이며, 시뮬레이션과 실제 AWS 배포 환경 모두에서 더 높은 보상 누적과 안정성을 달성한다. 특히 더블 듀얼링 DQN은 표준 DQN 및 타블루어 Q-러닝보다 뛰어난 성능을 보인다.

ABSTRACT

As the use of cloud computing continues to rise, controlling cost becomes increasingly important. Yet there is evidence that 30\% - 45\% of cloud spend is wasted. Existing tools for cloud provisioning typically rely on highly trained human experts to specify what to monitor, thresholds for triggering action, and actions. In this paper we explore the use of reinforcement learning (RL) to acquire policies to balance performance and spend, allowing humans to specify what they want as opposed to how to do it, minimizing the need for cloud expertise. Empirical results with tabular, deep, and dueling double deep Q-learning with the CloudSim simulator show the utility of RL and the relative merits of the approaches. We also demonstrate effective policy transfer learning from an extremely simple simulator to CloudSim, with the next step being transfer from CloudSim to an Amazon Web Services physical environment.

연구 동기 및 목표

• AWS에서의 높은 클라우드 지출(최대 45% 낭비) 문제를 해결하기 위해 AWS에서 비용-성능 최적화를 자동화한다.
• 복잡한 오토스케일링 정책을 설정하기 위해 전문 지식에 의존하는 것을 줄이고, '어떻게 해야 하는가'에서 '어떤 목표를 달성해야 하는가'로 전환한다.
• 비용과 성능 보상으로부터 직접 최적의 프로비저닝 정책을 학습하는 강화학습 프레임워크를 개발한다.
• 간단한 시뮬레이터에서부터 실제 CloudSim 환경, 그리고 최종적으로 실제 AWS 환경으로 정책을 이관함으로써 학습 비용과 시간을 줄인다.
• 향후 클라우드 자동화를 위한 강화학습 연구를 지원하기 위해 GitHub를 통해 재사용 가능한 AWS RL 환경을 제공한다.

제안 방법

• 상태 변수로 AWS CloudWatch 메트릭을 사용하는 강화학습 환경을 정의한다: 인스턴스 수, CPU 활용도, 수신 네트워크 패킷 수, 로드 밸런서 지연 시간.
• 높은 비용과 높은 지연 시간을 방지하고, 낮은 자원 활용도와 낮은 응답 시간을 장려하는 조밀한 보상 함수를 설계한다.
• 세 가지 DRL 알고리즘을 구현한다: 타블루어 Q-러닝, 딥 Q-네트워크(DQN), 더블 듀얼링 딥 Q-네트워크(D3QN)를 사용해 정책 학습을 수행한다.
• 학습된 정책을 CloudSim 기반 시뮬레이션 환경에서 학습한 후, 전이 학습을 통해 실제 AWS 배포 환경으로 이관한다.
• 재현 가능한 AWS 환경을 위해 CloudFormation 스크립트를 사용해 환경를 배포한다.
• 빠르고 단순한 시뮬레이터에서 사전 학습된 가중치로 DQN을 초기화함으로써 CloudSim 및 실제 AWS에서 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 인간이 정의한 임계값 없이 비용과 성능을 균형 잡는 최적의 클라우드 프로비저닝 정책을 효과적으로 학습할 수 있는가?
• RQ2 탭룰러 Q-러닝, DQN, D3QN 등 다양한 DRL 아키텍처는 클라우드 프로비저닝 작업에서 보상 누적 및 정책 안정성 측면에서 어떻게 비교되는가?
• RQ3 단순한 시뮬레이터에서 학습된 정책이 더 복잡한 CloudSim 환경으로 성공적으로 이관될 수 있는가? 그리고 최종적으로 실제 AWS 프로덕션 환경으로도 이관 가능한가?
• RQ4 실제 AWS 워크로드에서 RL 기반 프로비저닝은 전통적인 임계값 기반 오토스케일링보다 성능이 뛰어나게 작동하는가?
• RQ5 전이 학습은 실전에서 효과적인 클라우드 프로비저닝 정책을 구현하기 위한 학습 시간과 비용을 크게 줄일 수 있는가?

주요 결과

• 더블 듀얼링 딥 Q-네트워크(D3QN)는 학습 기간 동안 누적 보상과 정책 안정성 측면에서 표준 DQN 및 타블루어 Q-러닝보다 뛰어난 성능을 보였다.
• D3QN 정책는 비용과 성능 간의 상호 보완적 트레이드오프를 성공적으로 달성했으며, 변동성이 큰 워크로드 조건에서도 불필요한 인스턴스 스케일링을 피하고, 유휴 시간을 줄였다.
• 빠르고 단순한 시뮬레이터에서 CloudSim로의 전이 학습은 초기 학습 속도를 향상시키고 평균 보상을 향상시켜 실제 환경 적용 가능성에 대한 근거를 제공한다.
• 실제 AWS 배포에서 D3QN 정책는 시간이 지남에 따라 보상 분산이 감소하여 기존 방법보다 더 안정적이고 예측 가능한 성능을 보였다.
• 임계값 기반 오토스케일링 정책는 보상 분산이 더 크고, 특히 테스트 데이터에서 Day 10에 관찰된 워크로드 급증 상황에서 적응력이 떨어졌다.
• 현재 결과는 성능 향상이 장기간의 학습 이후에야 나타나므로, DRL 정책의 실용성을 완전히 검증하기 위해 AWS에서의 더 긴 학습 런이 필요하다.