[논문 리뷰] Prediction-Based Power Oversubscription in Cloud Platforms

Alok Kumbhare, Reza Azimi외 9명|arXiv (Cornell University)|2020. 10. 29.

Cloud Computing and Resource Management참고 문헌 34인용 수 6

한 줄 요약

이 논문은 기계학습을 활용해 워크로드의 성능 중요도를 분류하고 VM 수명 주기 동안 95번째 백분율 CPU 사용량을 예측함으로써, 지능적인 VM 배치 및 개별 VM의 전력 제한을 통해 핵심 워크로드에 미치는 영향을 최소화하면서 최대 2배 높은 전력 오버서비스크립션을 실현하는 예측 기반 전력 오버서비스크립션 프레임워크를 제안한다.

ABSTRACT

Datacenter designers rely on conservative estimates of IT equipment power draw to provision resources. This leaves resources underutilized and requires more datacenters to be built. Prior work has used power capping to shave the rare power peaks and add more servers to the datacenter, thereby oversubscribing its resources and lowering capital costs. This works well when the workloads and their server placements are known. Unfortunately, these factors are unknown in public clouds, forcing providers to limit the oversubscription so that performance is never impacted. In this paper, we argue that providers can use predictions of workload performance criticality and virtual machine (VM) resource utilization to increase oversubscription. This poses many challenges, such as identifying the performance-critical workloads from black-box VMs, creating support for criticality-aware power management, and increasing oversubscription while limiting the impact of capping. We address these challenges for the hardware and software infrastructures of Microsoft Azure. The results show that we enable a 2x increase in oversubscription with minimum impact to critical workloads.

연구 동기 및 목표

• 피크 전력 소비에 기반한 보수적인 프로비저닝으로 인한 데이터센터 전력 자원의 낭비를 해결한다.
• 워크로드 유형과 배치가 알려져 있지 않고 동적으로 변화하는 공공 클라우드 환경에서 기존 전력 제한 기법의 한계를 극복한다.
• 비핵심 워크로드에서는 제한을 허용하면서 핵심 워크로드를 지능적으로 식별하고 보호함으로써 더 높은 전력 오버서비스크립션을 가능하게 한다.
• VM을 깊이 분석하지 않고도 예측 결과를 VM 배치 및 전력 제한 결정에 통합할 수 있는 확장성 있고 프로덕션 환경에서 사용 가능한 시스템을 개발한다.
• 핵심 워크로드에 대한 제한의 영향을 최소화하면서 클라우드 인fra구조의 전력 효율성과 비용 절감을 극대화한다.

제안 방법

• 블랙박스 VM에서 성능 중요도를 나타내는 일일 주기적 사용 패턴을 탐지하기 위한 패턴 매칭 알고리즘을 설계한다.
• 패턴 매칭 알고리즘의 출력을 기반으로 워크로드 중요도 및 VM 수명 주기 동안의 95번째 백분율 CPU 사용량을 예측하는 기계학습 모델을 훈련시킨다.
• 서버와 랙 단위에서 전력 소비와 제한 여유를 균형 있게 고려하는 중요도 및 사용량 인지 기반의 VM 배치 정책을 구현한다.
• 피드백과 예측을 활용해 선택적으로 타이밍을 조절하는 개별 VM 전력 제한 제어기를 개발하여 핵심 워크로드를 보호한다.
• 생산 환경에서 사용하기 위해 예측 및 제어 스택을 마이크로소프트 애저의 머신러닝 및 예측 서비스 인fra구조에 통합한다.
• 핵심 및 비핵심 워크로드에 대한 제한 영향을 사전 정의된 기준 이내로 제한할 수 있도록 오버서비스크립션 수준 선택 전략을 설계한다.

실험 결과

연구 질문

• RQ1 응용 프로그램 수준의 인스트루멘테이션 없이 블랙박스 VM에서 기계학습 모델이 워크로드 중요도와 고백분위수 CPU 사용량을 정확하게 예측할 수 있는가?
• RQ2 예측을 활용해 핵심 워크로드의 성능 저하 없이 공공 클라우드 플랫폼에서 더 높은 전력 오버서비스크립션을 달성할 수 있는가?
• RQ3 예측된 중요도에 기반한 개별 VM 전력 제한을 적용할 때 오버서비스크립션 이득과 제한 영향 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 개별 VM 전력 제한과 지능적인 VM 배치 전략을 마이크로소프트 애저와 같은 프로덕션 클라우드 인fra구조에 어떻게 통합할 수 있는가?
• RQ5 예측 기반 기법을 통해 오버프로비저닝의 필요성을 얼마나 줄일 수 있으며, 서비스 수준 목표를 유지할 수 있는가?

주요 결과

• 제안된 시스템은 기존의 보수적인 프로비저닝 방법에 비해 전력 오버서비스크립션을 2배로 증가시킬 수 있다.
• 워크로드 중요도 예측을 위한 기계학습 모델은 이전의 FFT 기반 접근법보다 더 높은 정확도와 강건성을 확보했다.
• 95번째 백분율 CPU 사용량을 예측함으로써 전력 예산 초과를 사전에 인지하고 더 효과적인 제한 결정을 내릴 수 있었다.
• 중요도 인지 기반의 VM 배치 정책은 비핵심 워크로드를 전략적으로 분리함으로써 제한 이벤트의 수와 영향을 줄였다.
• 높은 전력 압력 상황에서도 핵심 워크로드에 대한 성능 영향을 최소화하여 사전 정의된 서비스 수준 목표를 충족시켰다.
• 이 방법은 프로덕션 환경에 배포 가능하며, 기존의 애저 인프라, 머신러닝 서빙 및 펌웨어 수준의 전력 제어 기능과 원활하게 통합된다.