[논문 리뷰] uPredict: A User-Level Profiler-Based Predictive Framework for Single VM Applications in Multi-Tenant Clouds

Hamidreza Moradi, Wei Wang외 2명|arXiv (Cornell University)|2019. 08. 13.

Cloud Computing and Resource Management참고 문헌 56인용 수 7

한 줄 요약

uPredict는 다중 테넌트 클라우드 환경에서 단일 VM 애플리케이션의 사용자 수준 성능 예측 프레임워크로, 실시간으로 CPU, 메모리, 디스크 경쟁을 점검하기 위해 맞춤형 마이크로벤치마크를 사용한다. 현장에서의 프로파일링을 회귀 및 신경망 모델과 융합함으로써, 사설 클라우드에서는 예측 오차가 9.8–17%이며, 공공 클라우드에서는 4% 미만으로 달성되어 지능형 로드 밸런싱을 통해 실행 시간을 19% 감소시킨다.

ABSTRACT

Most existing studies on performance prediction for virtual machines (VMs) in multi-tenant clouds are at system level and generally require access to performance counters in Hypervisors. In this work, we propose uPredict, a user-level profiler-based performance predictive framework for single-VM applications in multi-tenant clouds. Here, three micro-benchmarks are specially devised to assess the contention of CPUs, memory and disks in a VM, respectively. Based on measured performance of an application and micro-benchmarks, the application and VM-specific predictive models can be derived by exploiting various regression and neural network based techniques. These models can then be used to predict the application's performance using the in-situ profiled resource contention with the micro-benchmarks. We evaluated uPredict extensively with representative benchmarks from PARSEC, NAS Parallel Benchmarks and CloudSuite, on both a private cloud and two public clouds. The results show that the average prediction errors are between 9.8% to 17% for various predictive models on the private cloud with high resource contention, while the errors are within 4% on public clouds. A smart load-balancing scheme powered by uPredict is presented and can effectively reduce the execution and turnaround times of the considered application by 19% and 10%, respectively.

연구 동기 및 목표

• 가상화 히퍼바이저 수준의 메트릭에 접근할 수 없는 환경에서 성능 예측 불확실성 문제를 해결하기 위해.
• 공동 배치된 워크로드와 제한된 시스템 가시성으로 인해 알 수 없는 상황에서도 일반 클라우드 사용자가 애플리케이션 성능을 예측할 수 있도록 하기 위해.
• 히퍼바이저 접근 권한 없이도 기존의 공유 VM 정보를 알지 못한 채 작동하는 실용적인 사용자 수준의 예측 프레임워크를 개발하기 위해.
• 사설 및 공공 클라우드를 포함한 실제 클라우드 환경에서 프레임워크의 정확도와 실용성을 평가하기 위해.
• 예측 기반 로드 밸런싱을 통한 애플리케이션 스케줄링 향상 효과를 입증하기 위해.

제안 방법

• 실행 중인 타겟 VM에서 CPU, 메모리, 디스크 경쟁을 탐지하기 위해 응용 프로그램에 종속되지 않는 세 가지 마이크로벤치마크를 설계하고 구현한다.
• 반복적이고 순차적인 실행 동안 마이크로벤치마크와 타겟 애플리케이션의 성능 데이터를 수집하여 동적 경쟁 상태를 포착한다.
• 수집된 프로파일링 데이터를 기반으로 응용 프로그램 및 VM에 특화된 예측 모델을 회귀(예: 2차 다항식) 및 신경망 기법을 사용해 훈련한다.
• 예측 정확도 향상을 위해 신경망 하이퍼파rameter를 최적화하면서 훈련 오버헤드를 균형 잡는다.
• 예측 모델을 지능형 로드 밸런싱 기법에 통합하여 예측된 경쟁이 최소인 VM을 선택한다.
• AWS, GCE 등 다양한 사설 및 공공 클라우드 인프라에서 PARSEC, NAS, CloudSuite 등의 벤치마크를 대상으로 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 히퍼바이저 접근 권한 없이도 사용자 수준의 마이크로벤치마크가 VM 내 자원 경쟁을 정확히 포착할 수 있는가?
• RQ2 현장에서의 프로파일링 자료( CPU, 메모리, 디스크 경쟁)를 기반으로 회귀 및 신경망 모델이 애플리케이션 성능을 얼마나 정확히 예측할 수 있는가?
• RQ3 다양한 경쟁 수준을 가진 다양한 클라우드 환경에서 uPredict의 예측 정확도는 어떻게 변화하는가?
• RQ4 uPredict 기반의 예측 기반 로드 밸런싱은 기존의 큐 기반 또는 히وري스틱 기반 로드 밸런싱 전략보다 실행 시간과 종료 시간을 줄이는 데 더 효과적인가?
• RQ5 프로파일링 오버헤드와 모델 훈련 비용은 실시간 성능 예측의 실용성에 어떤 영향을 미치는가?

주요 결과

• 고도로 경쟁이 발생하는 사설 클라우드 환경에서 uPredict는 다양한 예측 모델을 통해 평균 예측 오차가 9.8%에서 17% 사이로 달성된다.
• 하이퍼파라미터 최적화를 거친 신경망 기반 모델은 회귀 기반 모델 대비 약 9%의 예측 오차 감소를 기록하지만, 더 높은 훈련 오버헤드를 수반한다.
• 낮고 안정적인 경쟁 수준을 보이는 공공 클라우드 환경에서는 평균 예측 오차가 항상 4% 이하로 유지된다.
• uPredict 기반 로드 밸런싱 기법은 큐 기반 로드 밸런싱 전략 대비 평균 실행 시간을 19% 감소시키고, 종료 시간을 10% 감소시킨다.
• 프레임워크는 동적으로 발생하고 알 수 없는 공유 워크로드로 인한 성능 변동을 효과적으로 포착하여 단일 VM 애플리케이션에 대한 정확한 현장 성능 예측을 가능하게 한다.
• 마이크로벤치마크는 시스템 수준의 경쟁을 효과적으로 프로파일링할 수 있으나, 향후 캐시 및 네트워크 경쟁으로의 확장을 위해 추가 연구가 필요하다.