[논문 리뷰] Ready for Rain? A View from SPEC Research on the Future of Cloud Metrics

Nikolas Herbst, Rouven Krebs외 5명|arXiv (Cornell University)|2016. 04. 12.

Cloud Computing and Resource Management참고 문헌 26인용 수 27

한 줄 요약

이 논문은 실제 측정 방법론에 기반하여 유연성, 성능 격리, 가용성 및 운영 리스크를 위한 클라우드 전용 메트릭스의 통합 프레임워크를 제안한다. 클라우드 시스템을 평가하기 위해 새로운 정량적 메트릭스와 집계 기법을 도입하여, 클라우드 서비스 선택 및 시스템 최적화에 핵심적인 비기능적 성질에 대한 객관적 평가를 가능하게 한다.

ABSTRACT

In the past decade, cloud computing has emerged from a pursuit for a service-driven information and communication technology (ICT), into a signifcant fraction of the ICT market. Responding to the growth of the market, many alternative cloud services and their underlying systems are currently vying for the attention of cloud users and providers. Thus, benchmarking them is needed, to enable cloud users to make an informed choice, and to enable system DevOps to tune, design, and evaluate their systems. This requires focusing on old and new system properties, possibly leading to the re-design of classic benchmarking metrics, such as expressing performance as throughput and latency (response time), and the design of new, cloud-specififc metrics. Addressing this requirement, in this work we focus on four system properties: (i) elasticity of the cloud service, to accommodate large variations in the amount of service requested, (ii) performance isolation between the tenants of shared cloud systems, (iii) availability of cloud services and systems, and the (iv) operational risk of running a production system in a cloud environment.Focusing on key metrics, for each of these properties we review the state-of-the-art, then select or propose new metrics together with measurement approaches. We see the presented metrics as a foundation towards upcoming, industry-standard, cloud benchmarks. Keywords: Cloud Computing; Metrics; Measurement; Benchmarking; Elasticity; Isolation; Performance; Service Level Objective; Availability; Operational Risk.

연구 동기 및 목표

• ICT 분야에서 클라우드 컴퓨팅의 점유율 증가에 따라 표준화된 클라우드 전용 벤치마킹 메트릭스의 필요성이 증대됨에 따라 이를 해결하고자 한다.
• 현대의 클라우드 환경에서 핵심적인 역할을 하는 비기능적 시스템 성질—유연성, 성능 격리, 가용성 및 운영 리스크—를 식별하고 정의하고자 한다.
• 이러한 성질을 정량적으로 평가할 수 있도록 새로운 메트릭스를 개발하거나 기존 메트릭스를 개선하여 클라우드 서비스 및 시스템 간의 객관적 비교 및 평가를 가능하게 하고자 한다.
• 각 메트릭스에 대한 측정 방법론을 제공하여 실제 클라우드 환경에 적용 가능한 재현 가능성과 실용성을 확보하고자 한다.
• 유연성, 격리, 가용성 및 리스크를 통합한 통합 평가 프레임워크를 통해 향후 산업 표준 클라우드 벤치마크의 기반을 마련하고자 한다.

제안 방법

• 요구량과 할당 리소스 간의 관계를 기반으로 하는 매칭 함수를 통해 유연성을 정의하며, 반응성 평가를 위해 시간, 할당, 제트리 메트릭스를 활용한다.
• QoS 영향 및 워크로드 비율 기반 메트릭스를 바탕으로 성능 격리 메트릭스를 제안하며, 누적 간섭 효과를 캡처하기 위한 통합 메트릭스를 도입한다.
• 성능, 활용도 및 성능 저하의 가중 조합을 사용하여 할당 리스크, 경쟁 리스크, 서비스 리스크 및 시스템 리스크를 포함하는 운영 리스크 메트릭스를 제안한다.
• 통제된 시스템 설정, 워크로드 프로파일 및 SLA 준수 추적을 포함하는 측정 방법론을 수립하여 재현 가능성을 확보한다.
• 실제 클라우드 워크로드에서의 상대적 중요도를 반영하기 위해 가중 조합(예: $ w_p, w_c $)을 사용하여 메트릭스를 집계한다.
• 실제 클라우드 워크로드 및 SLA 데이터를 활용하여 메트릭스의 민감도와 관련성을 검증하며, 특히 다중 테넌트 및 탄력적 환경에서의 적용 가능성을 점검한다.

실험 결과

연구 질문

• RQ1 시간, 할당, 제트리 요소를 고려할 때, 전통적인 처리량과 지연 시간 외에 어떻게 클라우드 시스템의 유연성을 정량적으로 측정할 수 있는가?
• RQ2 자원 경쟁이 QoS에 영향을 미치는 다중 테넌트 클라우드 환경에서 성능 격리를 가장 잘 캡처하는 메트릭스는 무엇인가?
• RQ3 실제 클라우드 환경에서 단순한 가동 시간 외에 SLA 준수 및 엄격 수준을 통합하여 가용성을 어떻게 측정할 수 있는가?
• RQ4 실제 클라우드 환경에서 탄력성, 자원 경쟁 및 성능 저하의 병합 영향을 효과적으로 반영할 수 있는 운영 리스크 메트릭스는 무엇인가?
• RQ5 이러한 메트릭스는 실제 클라우드 서비스 선택 및 시스템 튜닝에서의 우선순위를 반영하기 위해 어떻게 집계하고 가중치를 조정할 수 있는가?

주요 결과

• 제안된 유연성 메트릭스—정확도, 시간, 할당, 타임셰어, 제트리—는 클라우드 시스템의 로드 변화에 대한 적응 능력을 다차원적으로 제공한다.
• 성능 격리는 QoS 영향 메트릭스와 워크로드 비율 기반의 통합 메트릭스를 통해 가장 잘 캡처되며, 이는 공유 환경에서의 간섭 심각도를 정량화한다.
• 운영 리스크 메트릭스, 특히 할당 리스크와 경쟁 리스크의 가중 조합은 탄력적이고 공재되는 워크로드 하에서 SLA 위반의 가능성을 효과적으로 반영한다.
• 각 메트릭스의 측정 방법론은 통제된 시스템 설정과 워크로드 프로파일을 통해 검증되어 재현 가능성과 실용적 관련성을 확보한다.
• 유연성, 격리, 가용성 및 운영 리스크를 통합한 통합 벤치마킹 프레임워크는 클라우드 시스템에 대한 보다 종합적이고 현실적인 평가를 가능하게 한다.
• 이 프레임워크는 향후 클라우드 벤치마크의 표준화를 지원하도록 설계되었으며, 대용량 데이터, 웹 서비스 및 그래프 처리 워크로드로의 확장 계획이 수립되어 있다.