[논문 리뷰] A Survey and Measurement Study of GPU DVFS on Energy Conservation

Xinxin Mei, Qiang Wang외 1명|arXiv (Cornell University)|2016. 10. 06.

Parallel Computing and Optimization Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 에너지 절약을 위한 GPU의 동적 전압 및 주파수 스케일링(DVFS)을 조사하며, NVIDIA Fermi 및 Maxwell GPU에서 실제 실험을 수행한다. 핵심 전압/주파수 스케일링은 에너지 소비를 크게 줄이며, 평균 18.91%의 절감을 이끌어내며, 메모리 주파수 스케일링은 플랫폼에 따라 다른 영향을 미치며, Maxwell은 높은 메모리 주파수에서 유리한 반면, Fermi는 결과가 혼합되어 있어 애플리케이션에 특화된 DVFS 튜닝이 필요함을 시사한다.

ABSTRACT

Energy efficiency has become one of the top design criteria for current computing systems. The dynamic voltage and frequency scaling (DVFS) has been widely adopted by laptop computers, servers, and mobile devices to conserve energy, while the GPU DVFS is still at a certain early age. This paper aims at exploring the impact of GPU DVFS on the application performance and power consumption, and furthermore, on energy conservation. We survey the state-of-the-art GPU DVFS characterizations, and then summarize recent research works on GPU power and performance models. We also conduct real GPU DVFS experiments on NVIDIA Fermi and Maxwell GPUs. According to our experimental results, GPU DVFS has significant potential for energy saving. The effect of scaling core voltage/frequency and memory voltage/frequency depends on not only the GPU architectures, but also the characteristic of GPU applications.

연구 동기 및 목표

• 현대 GPU 아키텍처에서 GPU DVFS가 성능, 전력 소비 및 에너지 효율성에 미치는 영향을 분석하기 위해.
• 최근 NVIDIA Fermi 및 Maxwell 플랫폼을 중심으로 최신 GPU DVFS 특성화 및 모델링 기법을 조사하기 위해.
• 실제 GPU 하드웨어에서 핵심 및 메모리 전압/주파수 스케일링의 경험적 측정을 수행하여 기준 성능을 확립하기 위해.
• 성능을 유지하면서 에너지 소비를 최소화하는 최적의 전압/주파수 설정을 규명하기 위해.
• 아키텍처적 차이와 애플리케이션 특화 행동으로 인해 GPU DVFS 모델링이 어려운 점을 부각하기 위해.

제안 방법

• NVIDIA GTX 980(Maxwell) 및 Tesla K20X(Fermi) GPU에서 실제 DVFS 실험을 수행하여 다양한 전압 및 주파수 설정에서 성능 및 전력 소비를 측정함.
• 표준 벤치마크에서 유래한 34개 커널을 대상으로 에너지 소비 및 실행 시간을 측정하여 DVFS가 다양한 워크로드에 미치는 영향 평가.
• 주파수 스케일링과 에너지 소비 간의 관계를 분석하여 '패싱(pacing)' 및 '레이싱(racing)' 효과와 같은 비선형 행동 식별.
• 핵심 및 메모리 주파수 스케일링을 별도로 평가하여 Fermi 및 Maxwell 아키텍처 간 결과 비교.
• 스케일링 비효율성을 정량화하기 위해 최대 에너지 증가(Rmax) 및 평균 에너지 변화(R̂)와 같은 경험적 지표 사용.
• 최적의 에너지 효율 설정을 도출하기 위해 제조사 기본 설정과 결과를 비교함.

실험 결과

연구 질문

• RQ1 현대 GPU 아키텍처에서 동적 전압 및 주파수 스케일링(DVFS)은 에너지 소비와 성능에 어떻게 영향을 미치는가?
• RQ2 Fermi 및 Maxwell GPU 세대 간 DVFS 행동에 어떤 차이가 있는가?
• RQ3 애플리케이션 특성은 핵심 및 메모리 주파수 스케일링의 에너지 절약 효과에 어떻게 영향을 미치는가?
• RQ4 모든 GPU 애플리케이션에 통용되는 최적의 주파수 설정이 존재하는가, 아니면 워크로드에 따라 달라지는가?
• RQ5 메모리 주파수를 낮추는 것이 실행 시간 증가로 인해 에너지 낭비로 이어지는 정도는 어느 정도인가?

주요 결과

• Fermi GPU에서 핵심 전압 및 주파수 스케일링은 평균 18.91%의 에너지 절감을 이끌었으며, 최대 24.4%까지 감소함.
• Maxwell GPU에서는 핵심 주파수 스케일링이 뚜렷한 에너지 절감 효과를 보였으며, 최저 전압/주파수 설정에서 모든 커널에 대해 최소 에너지 소비를 달성함.
• Maxwell 플랫폼에서 메모리 주파수 스케일링은 '레이싱' 효과를 보였으며, 높은 메모리 주파수일수록 일관되게 에너지 소비가 감소함. 평균 Rmax는 35.87%, 평균 R̂는 0.72%였음.
• Fermi 플랫폼에서는 메모리 주파수 스케일링의 영향이 덜 일관되었으며, 평균 Rmax는 10.2%, 평균 R̂는 3.5%였으며, 이는 기본 메모리 주파수 설정이 종종 최적임을 시사함.
• Maxwell GPU의 24개 커널에서 메모리 주파수를 30% 낮추자 에너지 소비가 30% 이상 증가했으며, 가장 악성인 경우 에너지 낭비가 53.9%(bfs 커널)에 달함.
• Maxwell 플랫폼의 34개 커널 전부에서 기본 메모리 주파수 설정이 최적임을 확인하여 일반 워크로드에 대해 잘 튜닝되어 있음을 시사함.