[논문 리뷰] Low-Level Augmented Bayesian Optimization for Finding the Best Cloud VM

Chin-Jung Hsu, Vivek Nair외 2명|arXiv (Cornell University)|2017. 12. 28.

Cloud Computing and Resource Management참고 문헌 16인용 수 7

한 줄 요약

이 논문은 저수준 성능 메트릭(예: CPU 활용도, 메모리 압력, I/O 대기 시간)을 사전 모델에 통합함으로써 기존 베이지안 최적화를 개선하는 저수준 증강 베이지안 최적화(LA-BO)를 제안한다. 이러한 시스템 수준의 신호를 통합함으로써 LA-BO는 검색 비용을 크게 감소시키고 최적화 성능을 향상시켜 107개 워크로드 중 46개에서 표준 BO를 능가하지만, 취약한 경우에 부적절한 해를 피한다.

ABSTRACT

With the advent of big data applications, which tends to have longer execution time, choosing the right cloud VM to run these applications has significant performance as well as economic implications. For example, in our large-scale empirical study of 107 different workloads on three popular big data systems, we found that a wrong choice can lead to a 20 times slowdown or an increase in cost by 10 times. Bayesian optimization is a technique for optimizing expensive (black-box) functions. Previous attempts have only used instance-level information (such as # of cores, memory size) which is not sufficient to represent the search space. In this work, we discover that this may lead to the fragility problem---either incurs high search cost or finds only the sub-optimal solution. The central insight of this paper is to use low-level performance information to augment the process of Bayesian Optimization. Our novel low-level augmented Bayesian Optimization is rarely worse than current practices and often performs much better (in 46 of 107 cases). Further, it significantly reduces the search cost in nearly half of our case studies. Based on this work, we conclude that it is often insufficient to use general-purpose off-the-shelf methods for configuring cloud instances without augmenting those methods with essential systems knowledge such as CPU utilization, working memory size and I/O wait time.

연구 동기 및 목표

• 다양한 워크로드에 대한 최적의 클라우드 VM 선택에서 베이지안 최적화의 취약성을 해결하기 위해.
• 저수준 성능 메트릭이 VM 설정 검색에서 베이지안 최적화의 정확성과 효율성 향상에 기여할 수 있는지 조사하기 위해.
• 표준 BO가 인스턴스 수준 정보가 부족하여 실패하는 경우 검색 비용을 줄이고 부적절한 해를 피하기 위해.
• 시스템 수준 지식(예: CPU 활용도, I/O 대기 시간)이 효과적인 클라우드 리소스 구성에 필수적임을 입증하기 위해.
• 도메인 특화된 성능 신호를 오프더쇼프 최적화 방법에 통합하는 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• VM 실행 중 수집한 저수준 성능 메트릭(예: CPU 활용도, 워킹 메모리 크기, I/O 대기 시간)을 표준 베이지안 최적화의 입력 공간에 통합한다.
• 이러한 저수준 메트릭을 사전 모델(Gaussian Process)에 통합하여 다양한 VM 설정에서 워크로드 성능 예측 정확도를 향상시킨다.
• 인스턴스 수준 특성(예: 코어 수, 메모리)과 실시간 저수준 메트릭을 모두 활용하는 수정된 할당 함수를 사용하여 검색 결정을 이끌어낸다.
• 워크로드 실행 중 경량 인스트루멘테이션을 사용해 최소한의 모니터링 오버헤드로 저수준 메트릭을 수집한다.
• 성능 추세를 더 잘 포착하기 위해 비모수적 및 모수적 구성 요소를 조합한 하이브리드 모델링 전략을 적용한다.
• 실시간 시스템 피드백에 기반해 탐색과 이용의 균형을 동적으로 조정하는 최적화 루프를 설계하여 수렴 속도와 해 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 저수준 성능 메트릭은 최적의 클라우드 VM 선택에서 베이지안 최적화의 효과를 향상시킬 수 있는가?
• RQ2 시스템 수준 신호로 인스턴스 공간을 증강하면 표준 BO와 비교해 검색 비용을 줄이고 부적절한 해를 피할 수 있는가?
• RQ3 다양한 대용량 워크로드에서 LA-BO의 성능은 CherryPick과 같은 최첨단 방법과 비교해 어떻게 되는가?
• RQ4 표준 BO는 어떤 상황에서 검색 공간의 표현이 부족하여 실패하며, LA-BO는 이를 어떻게 완화하는가?
• RQ5 CPU 활용도, I/O 대기 시간과 같은 저수준 메트릭이 VM 성능과 설정 효율성과 얼마나 상관이 있는가?

주요 결과

• LA-BO는 솔루션 품질과 검색 비용 측면에서 107개 워크로드 중 46개에서 표준 베이지안 최적화를 능가한다.
• 평가된 워크로드의 거의 절반에서 검색 비용을 크게 감소시켜 효율성이 향상됨을 입증한다.
• 표준 BO는 검색 공간의 표현이 부족하여 50%의 워크로드에서 높은 검색 비용을 유발하거나 부적절한 결과를 도출한다.
• 성능 지도의 영역 III에서 표준 BO는 최적의 VM을 찾기 위해 13회 반복이 필요했지만, LA-BO는 더 빨리 수렴했고 기준값에서 관찰된 1.75배의 저하를 피했다.
• CPU 활용도, 워킹 메모리 크기, I/O 대기 시간과 같은 저수준 메트릭의 통합은 사전 모델의 예측 능력을 크게 향상시킨다.
• 연구는 오프더쇼프 베이지안 최적화가 필수적인 시스템 지식 없이 증강되지 않은 한 클라우드 VM 선택에 부적절할 수 있음을 결론 내린다.