[논문 리뷰] Cloud WorkBench - Infrastructure-as-Code Based Cloud Benchmarking

Joel Scheuner, Philipp Leitner외 2명|arXiv (Cornell University)|2014. 08. 20.

Cloud Computing and Resource Management참고 문헌 15인용 수 12

한 줄 요약

Cloud WorkBench (CWB)는 여러 IaaS 제공업체를 통해 클라우드 벤치마크의 정의, 스케줄링 및 실행을 자동화하는 웹 기반의 인프라로서 코드화(IaC) 기반 프레임워크입니다. IaC 원칙을 활용함으로써 재현 가능하고 모듈화되며 이식 가능한 벤치마킹을 가능하게 하며, Amazon EC2 인스턴스 및 스토리지 유형 간의 디스크 I/O 성능을 측정한 사례 연구를 통해 단일 실행 내에서도 성능에 상당한 변동성이 있음을 입증했습니다.

ABSTRACT

To optimally deploy their applications, users of Infrastructure-as-a-Service clouds are required to evaluate the costs and performance of different combinations of cloud configurations to find out which combination provides the best service level for their specific application. Unfortunately, benchmarking cloud services is cumbersome and error-prone. In this paper, we propose an architecture and concrete implementation of a cloud benchmarking Web service, which fosters the definition of reusable and representative benchmarks. In distinction to existing work, our system is based on the notion of Infrastructure-as-Code, which is a state of the art concept to define IT infrastructure in a reproducible, well-defined, and testable way. We demonstrate our system based on an illustrative case study, in which we measure and compare the disk IO speeds of different instance and storage types in Amazon EC2.

연구 동기 및 목표

• 수동 클라우드 벤치마킹의 복잡성과 일관성 부족 문제, 특히 동적인 IaaS 환경에서의 문제를 해결하기 위해.
• 클라우드 벤치마킹에 인프라로서 코드(IaC) 원칙을 도입함으로써 벤치마킹의 재현 가능성, 모듈성 및 이식성을 향상시키기 위해.
• 정의에서 실행 및 결과 수집에 이르기까지 전체 벤치마킹 라이프사이클을 수동 간섭 없이 자동화하기 위해.
• 다양한 클라우드 제공업체 및 구성에서 주기적이고 확장 가능하며 일관된 벤치마킹을 지원하기 위해.
• 수동 VM 이미지 생성을 코드 기반 인프라 정의로 대체함으로써 벤치마킹 설정에 소요되는 시간과 실수를 줄이기 위해.

제안 방법

• CWB는 중심 서버가 관계형 데이터베이스에 벤치마크 정의, 스케줄링 및 결과 저장을 담당하는 3-tier 웹 아키텍처를 사용합니다.
• 벤치마크는 웹 인터페이스 및 프로비저닝 서비스를 통해 정의되며, Ansible 또는 Terraform와 같은 도구를 사용해 IaC 구성 파일을 생성하여 클라우드 VM을 프로비저닝합니다.
• 각 클라우드 VM(테스트 대상 시스템)은 경량 CWB 클라이언트 라이브러리를 실행하여 메트릭을 중심 서버에 보고합니다.
• 시스템은 IaC의 동일성 보장 원칙을 활용해 벤치마킹 실행 간에 일관되고 반복 가능한 VM 구성 보장을 합니다.
• 스케줄러 컴포onent은 사용자가 정의한 스케줄에 따라 주기적으로 벤치마킹 실행을 트리거합니다.
• 메트릭은 실행 중에 수집되어 나중에 통계 분석 및 시각화를 위해 저장됩니다.

실험 결과

연구 질문

• RQ1 RQ1: 기존의 IaaS 클라우드 벤치마킹은 어떻게 모듈화되고 이식 가능한 방식으로 기술할 수 있는가?
• RQ2 RQ2: 이러한 벤치마킹은 클라우드 환경에서 완전히 재현 가능하고 수동 상호작용 없이 주기적으로 스케줄링 및 실행될 수 있는가?
• RQ3 RQ3: IaC 원칙은 클라우드 벤치마킹에서 벤치마킹의 재현 가능성을 어떻게 향상시키고 구성 오버헤드를 줄일 수 있는가?

주요 결과

• 디스크 I/O 성능은 단일 벤치마킹 실행 내에서도 상당한 변동성을 보이며, 표준 및 일반 목적 EBS 스토리지 유형 모두에서 성능 저하가 관찰되었습니다.
• 표준 EBS를 사용한 m1.small 인스턴스는 실행 약 15분 경과 시점에 예측 불가능한 성능 진동과 장기적인 성능 저하를 보였습니다.
• 일반 목적 SSD EBS는 주기적인 성능 저하를 보였지만, 대체로 평균 값 주변에서 대역폭이 진동했습니다.
• t1.micro 및 m1.small 인스턴스 유형은 여러 실행에 걸쳐 강한 성능 진동을 보였으며, 이는 CPU 스케줄링 및 자원 경쟁이 I/O 성능에 영향을 준다는 것을 시사합니다.
• CWB는 거의 20,000회의의 벤치마킹 실행을 성공적으로 수행하여 그 확장성과 실제 적용 가능성의 가능성을 입증했습니다.
• 이 프레임워크는 IaC 기반 프로비저닝을 통해 수동 작업을 줄이고 재현 가능성을 향상시켰습니다.