[논문 리뷰] Dynamic Deferral of Workload for Capacity Provisioning in Data Centers

Muhammad Abdullah Adnan, Ryo Sugihara외 2명|arXiv (Cornell University)|2011. 09. 18.

Cloud Computing and Resource Management참고 문헌 26인용 수 8

한 줄 요약

이 논문은 SLA에 명시된 지연 시간 한계를 활용하여 데이터 센터에서 에너지 효율적인 용량 확보를 위한 동적 워크로드 연기 기법을 제안한다. 균일한 마감 시간에 적합한 VFW(𝛿)와 비균일한 마감 시간에 적합한 GCP라는 두 가지 온라인 알고리즘을 도입하여 서버 활성화와 워크로드 스케줄링을 최적화함으로써 에너지 비용과 전환 비용을 절감한다. 시뮬레이션에서는 최대 40%의 비용 절감을 달성하였고, 실제 Hadoop 클러스터 실험에서는 기존의 단순 확보 전략 대비 12%의 비용 절감을 이룩하였다.

ABSTRACT

Recent increase in energy prices has led researchers to find better ways for capacity provisioning in data centers to reduce energy wastage due to the variation in workload. This paper explores the opportunity for cost saving utilizing the flexibility from the Service Level Agreements (SLAs) and proposes a novel approach for capacity provisioning under bounded latency requirements of the workload. We investigate how many servers to be kept active and how much workload to be delayed for energy saving while meeting every deadline. We present an offline LP formulation for capacity provisioning by dynamic deferral and give two online algorithms to determine the capacity of the data center and the assignment of workload to servers dynamically. We prove the feasibility of the online algorithms and show that their worst case performance are bounded by a constant factor with respect to the offline formulation. We validate our algorithms on a MapReduce workload by provisioning capacity on a Hadoop cluster and show that the algorithms actually perform much better in practice compared to the naive `follow the workload' provisioning, resulting in 20-40% cost-savings.

연구 동기 및 목표

• SLA에 명시된 지연 시간 요구 사항의 유연성을 활용하여 데이터 센터의 에너지 소비를 줄이는 것.
• 마감 시간 준수를 보장하면서 서버 용량과 워크로드 할당을 동적으로 결정하는 온라인 알고리즘을 개발하는 것.
• 최적의 오프라인 수식에 비해 온라인 알고리즘의 성능에 대한 이론적 경계를 제공하는 것.
• 시뮬레이션과 35노드 Hadoop 클러스터를 활용한 실제 MapReduce 워크로드를 대상으로 접근 방식을 검증하는 것.
• 기본적인 '워크로드 따라하기' 확보 전략에 비해 상당한 비용 절감 효과를 보여주는 것.

제안 방법

• 마감 시간 제약 조건 하에 시간 간격 동안 최적의 용량과 워크로드 할당을 결정하기 위해 오프라인 선형 프로그래밍(LP)을 수립한다.
• 균일한 마감 시간에 적합한 온라인 알고리즘인 VFW(𝛿)를 제안하며, 𝛿 시간 간격을 미리 보고 하중이 적은 시기로 작업을 연기하여 에너지 비용과 전환 비용을 최소화한다.
• 비균일한 마감 시간에 적합한 GCP(Genaralized Capacity Provisioning)를 설계하여 인접한 시간 간격 간의 워크로드를 균형 있게 분배함으로써 서버 켜기/끄기 전환 횟수를 줄인다.
• VFW(𝛿)와 GCP가 오프라인 LP 수식에 대해 유한한 경쟁 비율을 확보함을 증명하여 이론적 성능 보장을 확보한다.
• 워크로드 연기 기법을 용량 확보에 통합하여 우선순위 인식 및 적응형 스케줄링 정책을 지원하는 동적 자원 할당을 가능하게 한다.
• 실제 MapReduce 트레이스와 35노드 Hadoop 클러스터에서의 실험을 통해 접근 방식을 검증하여 에너지 절감 효과를 측정한다.

실험 결과

연구 질문

• RQ1 SLA 마감 시간 제약 조건 하에서 워크로드의 동적 연기로 데이터 센터의 에너지 소비를 줄일 수 있는가?
• RQ2 마감 시간 준수와 에너지 비용 최소화를 동시에 확보하면서 용량을 확보하고 워크로드를 스케줄링할 수 있는 온라인 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 최적의 오프라인 해법에 비해 온라인 알고리즘의 이론적 성능 경계는 무엇인가?
• RQ4 다양한 워크로드에서 제안된 알고리즘은 기존의 단순 확보 전략에 비해 에너지 절감 측면에서 어떻게 비교되는가?
• RQ5 실제 데이터 센터 워크로드는 실생활에서 동적 연기 기법으로 얼마나 많은 이점을 얻을 수 있는가?

주요 결과

• GCP 알고리즘은 24시간 시뮬레이션에서 최대 40%의 총 비용 절감을 달성하였으며, VFW(𝛿)와 기존의 '워크로드 따라하기' 전략에 비해 뚜렷한 우수성을 보였다.
• 실제 35노드 Hadoop 클러스터에서 4시간 동안의 실험 결과, VFW(𝛿)는 약 6.02%의 에너지 절감을 달성하였고, GCP는 약 12%의 절감 효과를 보였다.
• 두 알고리즘이 모두 '확보 없음' 전략(현재 데이터 센터에서 흔히 사용되는 전략)에 비해 피크 에너지 소비를 50% 이상 감소시켰다.
• VFW(𝛿) 알고리즘은 작은 마감 시간 요구 조건에서도 20%의 비용 절감을 달성하여 엄격한 지연 제약 조건 하에서도 뛰어난 강건성을 보였다.
• 이론적 분석을 통해 VFW(𝛿)와 GCP가 모두 일정한 경쟁 비율을 확보함을 확인하여 최적의 오프라인 해법에 비해 성능이 유한하게 제한됨을 입증하였다.
• 알고리즘은 간단하게 구현 가능하며 최소한의 계산 오버헤드를 유발하여 실제 데이터 센터 환경에 구현하기에 적합하다.