[논문 리뷰] Correlating power consumption and network traffic for improving data centers resiliency

Roberto Baldoni, Mario Caruso외 4명|arXiv (Cornell University)|2014. 05. 12.

Cloud Computing and Resource Management참고 문헌 17인용 수 3

한 줄 요약

이 논문은 데이터 센터의 복원력을 비침습적 방식으로 모니터링하기 위해 서버 전력 소비와 네트워크 트래픽 간의 상관관계를 제안한다. 이로 인해 서버에 소프트웨어 에이전트를 설치할 필요가 없어진다. 이탈리아 정부의 데이터 센터에서 6개월간의 실험을 통해 네트워크 트래픽과 전력 소비 간에 강력하고 일관된 상관관계(피어슨 상관계수 r > 0.7)를 확인하였으며, 이는 서버에 소프트웨어를 구축하지 않고도 장애를 예측할 수 있음을 보여준다.

ABSTRACT

The deployment of business critical applications and information infrastructures are moving to the cloud. This means they are hosted in large scale data centers with other business applications and infrastructures with less (or none) mission critical constraints. This mixed and complex environment makes very challenging the process of monitoring critical applications and handling (detecting and recovering) possible failures of servers' data center that could affect responsiveness and/or reliability of mission critical applications. Monitoring mechanisms used in data center are usually intrusive in the sense that they need to install agents on each single server. This has considerable drawbacks: huge usage of human resources to install and patch the system and interference with the critical application because agents share application resources. In order to detect (and possibly predict) failures in data centers the paper does a first attempt in showing the correlation between network traffic and servers' power consumption. This is an important step in deriving non-intrusive monitoring systems, as both network traffic and power consumption can be captured without installing any software at the servers. This will improve in its turn the overall resiliency of the data center and its self-managing capacity.

연구 동기 및 목표

• 임무 중심 애플리케이션을 호스팅하는 대규모 데이터 센터에서 침습적 에이전트 기반 모니터링의 한계를 해결하기 위해.
• 오직 네트워크 트래픽과 전력 소비 데이터만을 사용하여 비침습적 블랙박스 모니터링 기법을 탐색하기 위해.
• 실제 데이터 센터 환경에서 네트워크 트래픽과 서버 전력 소비 간의 측정 가능한 상관관계 존재를 검증하기 위해.
• 전력 및 네트워크 메트릭의 수동 관찰을 통해 조기에 장애를 예측하고 데이터 센터의 복원력을 향상시키기 위해.
• 최소한의 운영 오버헤드로 자가 관리형 복원력 있는 데이터 센터의 구현을 지원하기 위해.

제안 방법

• 이탈리아 재정부(MEF)의 생산용 데이터 센터에서 6개월간의 실험 캠페인을 수행하였다.
• 지연을 유발하거나 트래픽를 변경하지 않고 패킷 스니핑을 통해 네트워크 트래픽 데이터를 수집하였다.
• 랙 수준에서 스마트 전력 분배 장치(smart-PDUs)를 사용하여 전력 소비를 측정하였다.
• 10분 슬라이딩 윈도우와 10초 간격의 샘플링 간격을 적용하여, 시동 전력과 패킷률의 평균값을 계산하였다.
• 네트워크 트래픽(초당 패킷 수)과 시동 전력 소비 간의 피어슨 적률 상관계수(ρ)를 계산하였다.
• 다양한 시간 간격 동안의 시간적 상관관계 패턴을 분석하여 강력한 직접적 또는 반대 상관관계를 식별하였다.

실험 결과

연구 질문

• RQ1 실제 데이터 센터 환경에서 네트워크 트래픽과 서버 전력 소비 간에 통계적으로 유의미한 상관관계가 존재하는가?
• RQ2 이 상관관계를 사용하여 소프트웨어 에이전트를 설치하지 않고도 장애를 탐지하거나 예측할 수 있는가?
• RQ3 다양한 워크로드와 시간 간격 동안 상관관계는 얼마나 안정적이고 일관된가?
• RQ4 이 상관관계 패턴은 고장 나거나 고장이 발생한 하드웨어와 같은 비정상적인 행동과 정상 작동을 구분할 수 있는가?
• RQ5 이 상관관계는 비침습적 블랙박스 모니터링 시스템의 설계를 지원하여 데이터 센터 복원력을 향상시키는 데 기여하는가?

주요 결과

• 전체 6개월 데이터셋 동안 네트워크 트래픽과 전력 소비 간에 강력한 양의 상관관계(피어슨 상관계수 > 0.7)가 일관되게 관찰되었다.
• 세 개의 별도된 기간 동안 높은 상관관계(r ≈ 1)를 보였으며, 이는 트래픽과 전력 사용이 동시에 증가하거나 감소함을 시사한다.
• 한 기간 동안은 반대 상관관계를 보였는데, 트래픽은 감소했지만 전력 소비는 증가하여 잠재적인 이상 또는 내부 처리 방식의 변화를 시사한다.
• 근접한 상관계수 0(r ≈ 0)을 보이는 기간이 없었기 때문에, 두 메트릭 간에 지속적이고 비랜덤한 관계가 존재함을 의미한다.
• 상관관계는 시간이 지남에 따라 안정적이며 관찰 가능했으며, 이는 이러한 메트릭을 활용한 수동 비침습적 모니터링의 가능성을 뒷받침한다.
• 결과적으로 전력 소비와 네트워크 트래픽가 시스템의 건강 상태를 신뢰할 수 있는 대체 지표로 활용될 수 있으며, 소프트웨어 에이전트 없이도 장애 예측이 가능하다는 점을 검증하였다.