[논문 리뷰] Monitoring in the Clouds: Comparison of ECO2Clouds and EXCESS Monitoring Approaches

Pavel Skvortsov, Dennis Hoppe외 2명|arXiv (Cornell University)|2016. 01. 27.

Cloud Computing and Resource Management참고 문헌 4인용 수 3

한 줄 요약

이 논문은 클라우드 및 HPC 환경을 위한 에너지 인식 모니터링 프레임워크 두 가지—ECO2Clouds와 EXCESS—를 비교한다. ECO2Clouds는 Zabbix를 통해 물리적, 가상, 응용 프로그램 계층의 다층 메트릭을 사용하여 CO₂ 인식 응용 프로그램 스케줄링을 가능하게 한다. 반면 EXCESS는 런타임 최적화를 위한 커스터마이징된 API를 통해 저오버헤드, 근접 실시간 모니터링을 제공한다. 주요 기여는 두 프레임워크의 강점을 활용한 하이브리드 접근 방식으로, 에너지 효율성 향상과 시스템 관찰 가능성 향상을 달성한다.

ABSTRACT

With the increasing adoption of private cloud infrastructures by providers and enterprises, the monitoring of these infrastructures is becoming crucial. The rationale behind monitoring is manifold: reasons include saving energy, lowering costs, and better maintenance. In the e-Science sector, moreover, the collection of infrastructure and application-specific data at high resolutions is immanent. In this paper, we present two monitoring approaches implemented throughout two European projects: ECO2Clouds and EXCESS. The ECO2Clouds project aims to minimize CO2 emissions caused by the execution of applications on the cloud infrastructure. In order to allow for eco-aware deployment and scheduling of applications, the ECO2Clouds monitoring framework provides the necessary set of metrics on different layers including physical, virtual and application layer. In turn, the EXCESS project introduces new energy-aware execution models that improve energy-efficiency on a software level. Having in-depth knowledge about the energy consumption and overall behavior of applications on a given infrastructure, subsequent executions can be optimized to save energy. To achieve this goal, the EXCESS monitoring framework provides APIs allowing developers to collect application-specific data in addition to infrastructure data at run-time. We perform a comparative analysis of both monitoring approaches, and highlighting use cases including a hybrid approach which benefits from both monitoring solutions.

연구 동기 및 목표

• 증가하는 에너지 비용과 환경적 우려로 인해 프라이빗 클라우드 및 HPC 인fra에서 에너지 효율적인 모니터링의 필요성이 증가하고 있음.
• 응용 프로그램 수준과 인프라 수준의 모니터링을 통합하여 CO₂ 배출량을 최소화하고 에너지 효율성을 향상시킬 수 있는 방법 탐구.
• 두 개별적인 EU 자금 지원 모니터링 프레임워크에서 모니터링 오버헤드, 업데이트 주기, 확장성 간의 상호 상충 관계 평가.
• 실시간, 응용 프로그램 전용 메트릭을 활용하여 개발자와 시스템 관리자가 환경 친화적인 배포 및 스케줄링 결정을 내릴 수 있도록 지원.
• ECO2Clouds(다층 메트릭, 스케줄링 지원)의 강점과 EXCESS(세밀한, 저오버헤드 모니터링)의 강점을 융합한 하이브리드 모니터링 접근 방식 제안.

제안 방법

• Zabbix 에이전트를 사용하여 물리적, 가상, 응용 프로그램 계층의 메트릭을 수집하는 ECO2Clouds 모니터링 프레임워크를 구현하고, 지역 에너지 혼합 비율 기반으로 CO₂ 배출 계산.
• 경량형 에이전트 기반 인스트루멘테이션과 커스터마이징된 C 설정 파일을 사용하여 EXCESS 모니터링 프레임워크를 구현하여 실시간 응용 프로그램 및 하드웨어 메트릭 수집.
• 클라우드 사이트(EPCC, INRIA, HLRS)의 PDU에서 전력 데이터를 통합하여 스케줄링 결정을 위한 사이트별 CO₂ 배출 계산.
• EXCESS에서는 시계열 데이터 저장을 위해 Elasticsearch를, ECO2Clouds에서는 복잡한 쿼리 및 사용자 정의 메트릭을 지원하기 위해 MySQL을 사용하여 구조화된 데이터 모델링.
• 웹 기반 GUI를 각각 개발: ECO2Clouds에서는 Zabbix 기반 대시보드, EXCESS에서는 실시간 및 이력 메트릭 분석을 위한 인터랙티브 시각화.
• 성능 평가를 위해 동일한 워크로드 하에서 다양한 샘플링 주기에서의 CPU 오버헤드 측정: Zabbix는 최대 10% 오버헤드, EXCESS는 3% 미만 오버헤드 기록.

실험 결과

연구 질문

• RQ1 ECO2Clouds와 EXCESS 모니터링 프레임워크는 아키텍처 설계, 업데이트 주기, 모니터링 정밀도 측면에서 어떻게 다릅니까?
• RQ2 각 모니터링 프레임워크의 성능 오버헤드는 무엇이며, 샘플링 주기와 메트릭 수에 따라 어떻게 변화합니까?
• RQ3 두 프레임워크를 하이브리드 모니터링 솔루션으로 통합할 수 있는 정도는 어느 정도이며, 에너지 효율성 향상과 시스템 관찰 가능성 향상에 기여합니까?
• RQ4 데이터 저장 및 확장성 메커니즘(MySQL 대비 Elasticsearch)은 메트릭 모델링의 융통성과 복잡성에 어떤 영향을 미칩니까?
• RQ5 실시간, 세밀한 모니터링(EXCESS)과 고수준의 응용 프로그램 인식 스케줄링(ECO2Clouds)이 효과적으로 통합되어 CO₂ 인식 배포를 지원할 수 있습니까?

주요 결과

• EXCESS 모니터링 프레임워크는 최대 10Hz의 업데이트 주기로 근접 실시간 모니터링을 달성하여 ECO2Clouds의 1초 주기 업데이트보다 훨씬 빠름.
• EXCESS는 고주기 샘플링에서도 매우 낮은 CPU 오버헤드—3% 미만—를 기록함. 반면 ECO2Clouds의 Zabbix 에이전트는 15개 이상의 메트릭을 모니터링할 경우 최대 10%의 오버헤드를 유발함.
• ECO2Clouds는 물리적, 가상, 응용 프로그램 계층에서 사용자 정의 메트릭을 복잡하게 지원하여 이질적인 클라우드 제공업체 사이트 간 CO₂ 인식 스케줄링 가능.
• ECO2Clouds 프레임워크는 응용 프로그램 배포를 위한 CO₂ 배출 예측을 가능하게 하며, 최적의 배포 위치를 시각화하고 선택할 수 있는 전용 웹 인터페이스 제공.
• EXCESS는 C 설정 파일을 통한 런타임 구성 가능한 저영향 모니터링을 제공하는 반면, ECO2Clouds는 확장성은 있지만 더 복잡한 구성 모델을 사용하는 Zabbix에 의존함.
• 하이브리드 모니터링 접근 방식은 실현 가능하며 유익함: EXCESS는 세밀한 런타임 최적화를 가능하게 하고, ECO2Clouds는 탄소 배출 감소를 위한 장기적이고 정책 기반의 스케줄링을 지원함.