[논문 리뷰] Patterns in the Chaos - a Study of Performance Variation and Predictability in Public IaaS Clouds

Philipp Leitner, Juergen Cito|arXiv (Cornell University)|2014. 11. 10.

Cloud Computing and Resource Management참고 문헌 46인용 수 6

한 줄 요약

이 논문은 대규모 문헌 고찰과 네 개의 공공 IaaS 제공자(aws ec2, google gce, microsoft azure, ibm softlayer)를 대상으로 한 실제 실험을 통해 공공 IaaS 클라우드에서의 성능 예측 가능성에 대해 조사한다. 성능 변동성에 관한 15개의 가설을 수립하고 53,918건의 측정 결과를 활용해 이를 검증함으로써, 멀티테넌시가 성능 예측 가능성에 상당한 영향을 미치며, 특히 azure와 특정 ec2 유형에서 가장 두드러진다고 밝혀졌고, 하드웨어 이질성은 이전에 상정된 것보다 덜 퍼진 것으로 나타났으며, 시간대나 요일에 따른 영향은 무시할 만할 정도로 미미하다.

ABSTRACT

Benchmarking the performance of public cloud providers is a common research topic. Previous research has already extensively evaluated the performance of different cloud platforms for different use cases, and under different constraints and experiment setups. In this paper, we present a principled, large-scale literature review to collect and codify existing research regarding the predictability of performance in public Infrastructure-as-a-Service (IaaS) clouds. We formulate 15 hypotheses relating to the nature of performance variations in IaaS systems, to the factors of influence of performance variations, and how to compare different instance types. In a second step, we conduct extensive real-life experimentation on Amazon EC2 and Google Compute Engine to empirically validate those hypotheses. At the time of our research, performance in EC2 was substantially less predictable than in GCE. Further, we show that hardware heterogeneity is in practice less prevalent than anticipated by earlier research, while multi-tenancy has a dramatic impact on performance and predictability.

연구 동기 및 목표

• 공공 IaaS 클라우드에서 성능 변동성의 근본적인 패턴과 메커니즘을 규명하기 위해.
• 기존 연구에서 제기된 클라우드 성능 예측 가능성에 관한 장기적 타당성과 일반화 가능성을 평가하기 위해.
• 대규모 실세계 벤치마크를 통해 기존 문헌에서 유도된 가설을 경험적으로 검증하기 위해.
• 멀티테넌시, 하드웨어 이질성, 지역, 시간 등의 요인이 성능 안정성과 예측 가능성에 미치는 영향을 평가하기 위해.
• 성능과 비용 효율성 측면에서 최적의 인스턴스 유형을 선택하기 위한 실질적인 통찰을 사용자 및 연구자에게 제공하기 위해.

제안 방법

• IaaS 성능 예측 가능성에 관한 기존 연구를 수집하고 체계적으로 정리하기 위해 원칙적인 대규모 문헌 고찰을 수행하였다.
• 성능 변동성, 영향 요인, 인스턴스 유형 비교에 관해 동료 검토된 문헌 기반으로 15개의 가설을 수립하였다.
• 한 달간 네 대표적인 IaaS 제공자(aws ec2, gce, azure, softlayer)에서 실제 실험을 수행하였다.
• 2~8가지 구성으로 5종의 마이크로 및 애플리케이션 수준의 벤치마크를 실행하였으며, 매일 6회 씩 측정하여 총 53,918건의 측정 결과를 확보하였다.
• 통계 분석을 통해 가설을 검증하였으며, 성능 변동성, 지역 영향, 시간대/요일 패턴에 중점을 두었다.
• 재현 가능성을 확보하기 위해 모든 벤치마크 코드, 원시 데이터, 분석 스크립트를 공개한 동반 웹사이트를 운영하였다.

실험 결과

연구 질문

• RQ1 IaaS 클라우드에서의 성능 변동성은 다수의 테넌시에 기인하는 정도가 어느 정도이며, 이는 제공자 간에 어떻게 다를까?
• RQ2 현대 공공 IaaS 클라우드에서 하드웨어 이질성은 얼마나 퍼져 있으며, 성능 예측 가능성에 상당한 영향을 미치는가?
• RQ3 시간대나 요일이 클라우드 인스턴스 성능에 측정 가능한 영향을 미치는가?
• RQ4 IaaS 인스턴스의 성능은 시간이 지남에 따라 얼마나 안정적이고 예측 가능할까? 이는 제공자 및 인스턴스 유형에 따라 어떻게 다를까?
• RQ5 이전의 벤치마크 결과는 다양한 IaaS 제공자 간에 일반화될 수 있는가, 아니면 제공자에 특화된 것인가?

주요 결과

• 멀티테넌시는 성능 예측 가능성에 상당한 영향을 미치며, 이는 모든 IaaS 제공자 간에 균일하게 분포하지는 않으며, 특히 azure와 특정 ec2 인스턴스 유형에서 가장 두드러진다.
• 하드웨어 이질성은 이전에 보고된 것보다 덜 퍼져 있으며, 오직 일부 ec2 인스턴스 유형과 azure에서만 기반 하드웨어의 이질성이 관찰되며, 이는 이전에 널리 퍼져 있다는 가정을 도전한다.
• 성능 변동성과 시간대나 요일 간에 통계적으로 유의미한 상관관계를 발견하지 못했으며, 이는 시간 패턴이 성능 예측에 신뢰할 수 있는 예측 요소가 아니라는 것을 시사한다.
• 지역은 성능과 예측 가능성에 통계적으로 유의미한 영향을 미치며, 제공자 간 다양한 지리적 위치 간의 차이가 관찰되었다.
• 성능 예측 가능성과 비용 효율성은 제공자 간 일반화될 수 없으며, 사용 사례 기반의 벤치마크를 통한 인스턴스 선택이 이전 연구의 가정을 넘어서야 한다.
• 이 연구는 클라우드 성능이 '지속적으로 변화하는 대상'임을 확인하였으며, 한 제공자(예: ec2)에서의 결과가 다른 제공자로 신뢰성 있게 이식될 수 없음을 시사하며, 성능 모델의 정기적인 재평가가 필요하다.