[논문 리뷰] Energy-aware Task Scheduling with Deadline Constraint in DVFS-enabled Heterogeneous Clusters

Xinxin Mei, Qiang Wang외 4명|arXiv (Cornell University)|2021. 04. 01.

Parallel Computing and Optimization Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 사전에 설정된 마감 시간 조건 하에서 총 에너지 소비를 최소화하는 DVFS 기반 CPU-GPU 이종 클러스터를 위한 에너지 인식 작업 스케줄링 프레임워크를 제안한다. GPU 성능과 전력 소비의 비선형성을 모델링하고, 매개변수 θ를 사용한 런타임 DVFS 재조정 전략을 적용함으로써, 동적, 대기, 전원 켜기 에너지 비용을 균형 있게 조절하면서 최대 33–35%의 에너지 절감을 달성하였으며, 이는 이론적 상한선에 매우 가까운 성능이다.

ABSTRACT

Energy conservation of large data centers for high-performance computing workloads, such as deep learning with big data, is of critical significance, where cutting down a few percent of electricity translates into million-dollar savings. This work studies energy conservation on emerging CPU-GPU hybrid clusters through dynamic voltage and frequency scaling (DVFS). We aim at minimizing the total energy consumption of processing a batch of offline tasks or a sequence of real-time tasks under deadline constraints. We derive a fast and accurate analytical model to compute the appropriate voltage/frequency setting for each task and assign multiple tasks to the cluster with heuristic scheduling algorithms. In particular, our model stresses the nonlinear relationship between task execution time and processor speed for GPU-accelerated applications, for more accurately capturing real-world GPU energy consumption. In performance evaluation driven by real-world power measurement traces, our scheduling algorithm shows comparable energy savings to the theoretical upper bound. With a GPU scaling interval where analytically at most 36% of energy can be saved, we record 33-35% of energy savings. Our results are applicable to energy management on modern heterogeneous clusters.

연구 동기 및 목표

• 엄격한 작업 마감 시간 조건 하에서 CPU-GPU 이종 클러스터의 총 에너지 소비를 최소화하기 위해.
• 특히 딥러닝 및 빅데이터 워크로드를 처리하는 대규모 데이터센터에서 GPU 가속 워크로드의 에너지 비효율성 문제를 해결하기 위해.
• 정확한 에너지 예측을 위해 GPU 실행 시간, 주파수, 전력 소비 간의 비선형 관계를 모델링하기 위해.
• 오프라인 및 온라인 작업 실행 모드에서 동적, 대기, 전원 켜기 에너지 비용을 효과적으로 균형 잡는 휴리스틱 스케줄링 알고리즘 설계하기 위해.
• 런타임 DVFS 재조정(θ 매개변수를 통한)이 마감 시간 준수를 훼손하지 않으면서도 대기 및 오버헤드 에너지를 줄이는 데 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• GPU 코어 주파수, 메모리 주파수, 코어 전압의 독립적 스케일링을 고려한 GPU 전용 성능 및 전력 모델을 개발한다.
• 마감 시간을 충족하면서 에너지를 최소화하기 위한 최적의 전압/주파수 설정을 계산하기 위해 분석적 최적화 모델을 유도한다.
• 서버에 작업을 효율적으로 할당하기 위해 EDF 순서를 적용한 휴리스틱 박스 패킹 스케줄링 알고리즘을 구현한다.
• 조정 가능한 매개변수 θ를 사용한 런타임 DVFS 재조정 메커니즘을 도입하여 활성 상태와 대기 상태 간의 에너지 소비를 동적으로 재균형한다.
• 모델의 타당성을 검증하고 실제 워크로드 하에서의 에너지 절감을 평가하기 위해 실제 전력 측정 트레이스를 활용한다.
• 다양한 구성(기본 설정, 재조정 없이 DVFS, θ 재조정를 포함한 DVFS) 간의 총 에너지 소비를 시뮬레이션하고 비교하기 위해 파arameterized 에너지 모델을 사용한다.

실험 결과

연구 질문

• RQ1 GPU 전용 동적 전압 및 주파수 스케일링(DVFS)을 어떻게 모델링할 수 있을까? 실행 시간과 전력 소비 간의 비선형적 트레이드오프를 정확히 반영할 수 있는가?
• RQ2 엄격한 마감 시간 조건 하에서 CPU-GPU 이종 클러스터의 총 에너지를 최소화하기 위한 최적의 스케줄링 전략은 무엇인가?
• RQ3 런타임 DVFS 재조정(θ를 통한)은 다수의 CPU-GPU 쌍을 가진 서버에서 동적, 대기, 전원 켜기 에너지 간의 균형에 어떤 영향을 미치는가?
• RQ4 실제로 얼마나 많은 에너지 절감을 달성할 수 있으며, 이는 이론적 상한선에 얼마나 가까이 도달할 수 있는가?
• RQ5 서버 활용도와 CPU-GPU 쌍의 수는 제안된 에너지 관리 전략의 효과성에 어떤 영향을 미치는가?

주요 결과

• θ 재조정을 적용한 제안된 EDL 스케줄링 알고리즘이 33–35%의 에너지 절감을 달성하였으며, 이는 이론적 상한선 36%에 매우 가까운 성능이다.
• l = 16일 경우(16개의 CPU-GPU 쌍), θ = 1일 때 총 에너지 소비는 102.49 MJ에서 θ = 0.95일 때 100.94 MJ로 감소하여 대기 에너지가 1.55 MJ 감소하였다.
• θ = 0.8로 설정할 경우, l = 1 제외 전 구간에서 모든 구성 중에서 총 에너지 소비가 가장 낮게 나타나, 다중 GPU 서버에 대한 강건성을 입증하였다.
• 더 작은 θ 값일수록 대기 에너지가 크게 감소하며, 특히 l > 1일 경우 두드러진다. 이는 고활용도 클러스터에서 런타임 재조정의 중요성을 강조한다.
• EDF 순서를 적용한 박스 패킹 우선 할당 알고리즘이 전원 켜기 오버헤드와 대기 에너지를 더 효과적으로 제어하여 EDL 기반 알고리즘보다 우수한 성능을 보였다.
• 작은 θ 값일수록 런타임 에너지가 약간 증가하지만, 대기 및 전원 케이블 오버헤드 에너지 감소 효과가 이를 상쇄하여 순수 에너지 절감이 발생한다.