[논문 리뷰] Scout: An Experienced Guide to Find the Best Cloud Configuration

Chin-Jung Hsu, Vivek Nair외 2명|arXiv (Cornell University)|2018. 03. 04.

Cloud Computing and Resource Management참고 문헌 18인용 수 42

한 줄 요약

Scout는 과거의 저수준 성능 데이터와 쌍대 학습을 활용해 검색 기반 최적화를 안내하고, 이전 방법들보다 낮은 탐색 비용으로 거의 최적의 클라우드 구성을 달성합니다.

ABSTRACT

Finding the right cloud configuration for workloads is an essential step to ensure good performance and contain running costs. A poor choice of cloud configuration decreases application performance and increases running cost significantly. While Bayesian Optimization is effective and applicable to any workloads, it is fragile because performance and workload are hard to model (to predict). In this paper, we propose a novel method, SCOUT. The central insight of SCOUT is that using prior measurements, even those for different workloads, improves search performance and reduces search cost. At its core, SCOUT extracts search hints (inference of resource requirements) from low-level performance metrics. Such hints enable SCOUT to navigate through the search space more efficiently---only spotlight region will be searched. We evaluate SCOUT with 107 workloads on Apache Hadoop and Spark. The experimental results demonstrate that our approach finds better cloud configurations with a lower search cost than state of the art methods. Based on this work, we conclude that (i) low-level performance information is necessary for finding the right cloud configuration in an effective, efficient and reliable way, and (ii) a search method can be guided by historical data, thereby reducing cost and improving performance.

연구 동기 및 목표

• 워크로드의 성능과 비용의 균형을 맞추기 위해 최적의 클라우드 구성을 선택하는 문제를 동기 부여한다.
• Scout를 탐색-탐사 균형을 개선하는 역사 정보를 이용한 검색 기반 방법으로 제안한다.
• 저수준 성능 지표와 전이 학습이 효율적인 구성 탐색을 안내할 수 있음을 보인다.
• 다양한 워크로드와 구성에 걸친 확장성과 신뢰성을 입증한다.

제안 방법

• 고정된 구성 공간에서 순차적 최적화로 클라우드 구성 탐색을 형식화한다.
• 저수준 성능 지표에서 탐색 힌트를 추출하여 쌍대 비교 모델을 안내한다.
• 이전 워크로드의 과거 데이터를 사용하여 구성을 순위를 매기는 느슨해진 전이 학습 모델에 정보를 제공한다.
• 절대 성능을 예측하기보다 쌍대(상대적) 예측 접근법을 채택한다.
• 역사를 이용해 더 빠른 수렴을 달성하는 다음 구성을 현재 최고보다 더 나을 확률이 가장 높은 것으로 선택하는 탐색 전략을 사용한다.
• 확률 임계값과 오판 허용치를 기반으로 중지 기준을 제공한다.

실험 결과

연구 질문

• RQ1 다른 워크로드의 과거 성능 데이터가 근사 최적의 클라우드 구성 탐색 비용을 줄일 수 있는가?
• RQ2 쌍대, 전이 학습된, 저수준 지표 기반 모델이 CherryPick과 PARIS 같은 기존 방법보다 탐색 정확도와 수렴 속도를 향상시키는가?
• RQ3 저수준 지표와 전이 학습이 다양한 워크로드에서 신뢰도에 어떤 영향을 미치는가?
• RQ4 다양한 워크로드와 클라우드 구성에 걸친 Scout의 성능과 비용 트레이드오프는 무엇인가?
• RQ5 초기점 및 매개변수 설정에 대해 접근법이 로버스트한가?

주요 결과

• Scout는 단일 노드 실험에서 107개 워크로드 중 87%에 대해 근사 최적 구성(10% 이내)을 찾는다.
• Scout는 실행 시간 및 배포 비용 최적화에서 CherryPick 및 무작위 기반 기준선보다 낮은 탐색 비용을 달성한다.
• 과거 데이터와 저수준 지표를 사용하면 이전 방법보다 더 안정적이고 빠른 수렴을 얻는다.
• 이 방법은 실행 간 분산이 더 낮아 경쟁 방법에 비해 신뢰성이 향상됨을 보인다.
• 비용 최적화는 더 어렵고 시간 최적화보다 더 많은 탐색 단계가 필요한 경우가 많지만, Scout는 여전히 효율적으로 수렴한다.
• 다중 노드 설정에서 69개의 클라우드 구성에 대해 18개의 워크로드를 포함한 평가로 확장성을 입증한다.