[논문 리뷰] Power and Energy-efficiency Roofline Model for GPUs

Millad Ghane, Jeff Larkin외 3명|arXiv (Cornell University)|2018. 09. 24.

Parallel Computing and Optimization Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 전통적인 룻라인 모델을 확장하여 GPU 커널의 전력 소비와 에너지 효율성까지 포함하고, 계산 성능과 메모리 성능을 각각 다루는 두 가지 시각적 모델을 제안한다. 성능 상한선을 활용하여 최적화 전략의 성능-에너지 효율성 트레이드오프를 시각화한다. 주요 기여는 개발자가 최적화 전략이 성능과 에너지 효율성에 어떤 영향을 미치는지 평가할 수 있도록 하는 통합 프레임워크를 제공하는 것으로, GPU 워크로드에서 전력 제한 상태와 계산 제한 상태의 행동을 드러낸다.

ABSTRACT

Energy consumption has been a great deal of concern in recent years and developers need to take energy-efficiency into account when they design algorithms. Their design needs to be energy-efficient and low-power while it tries to achieve attainable performance provided by underlying hardware. However, different optimization techniques have different effects on power and energy-efficiency and a visual model would assist in the selection process. In this paper, we extended the roofline model and provided a visual representation of optimization strategies for power consumption. Our model is composed of various ceilings regarding each strategy we included in our models. One roofline model for computational performance and one for memory performance is introduced. We assembled our models based on some optimization strategies for two widespread GPUs from NVIDIA: Geforce GTX 970 and Tesla K80.

연구 동기 및 목표

• HPC 분야에서 에너지 효율적인 알고리즘 설계의 증가하는 수요를 충족시키기 위해 성능 모델링에 전력과 에너지 효율성을 통합한다.
• 기존의 룻라인 모델을 확장하여 전력과 에너지 효율성을 순수 성능 한계를 넘어서 첫 번째 등급의 메트릭으로 포함한다.
• 개발자가 최적화 전략이 전력 소비와 에너지 효율성에 어떤 영향을 미치는지 시각적으로 파악할 수 있도록 프레임워크를 제공한다.
• 실제 GPU 아키텍처(GTX 970 및 Tesla K80)를 사용하여 성능, 전력, 에너지 효율성 간의 트레이드오프를 시연한다.
• 성능을 훼손하지 않으면서 가장 높은 에너지 효율성을 달성하는 최적화 전략을 선택할 수 있도록 정보 기반 설계 결정을 가능하게 한다.

제안 방법

• 저자들은 부동소수점 연산(W), 메모리 연산(Q), 그리고 각각의 에너지 비용(ε_flop, ε_mem)을 기반으로 에너지 소비에 대한 수학적 모델을 유도하여 전력(P)과 에너지 효율성(EE)에 대한 식을 도출한다.
• 두 가지 룻라인 모델을 도입한다: 하나는 계산 성능(FLOP/s)을 통해 전력(P)과 에너지 효율성의 역수(1/EE)를 연결하고, 다른 하나는 메모리 대역폭(BW)을 통해 P와 메모리 에너지 효율성(E/Q)을 연결한다.
• 모델의 상한선은 데이터 국소성 향상, 메모리 코ales싱, 계산 최적화와 같은 최적화 기법을 나타내며, 특정 전력 및 에너지 제약 조건 하에서 성능 한계를 정의한다.
• 모델은 피크 전력(P_peak)을 상한선으로 사용하며, 계산의 경우 P = min{(E/W) × π, P_peak} 및 메모리의 경우 P = min{(E/Q) × BW, P_peak}의 관계를 통해 전력과 에너지 효율성을 연결한다.
• 이 방법은 측정된 성능 및 에너지 데이터를 사용하여 두 개의 NVIDIA GPU(GTX 970 및 Tesla K80)에서 검증된다.
• 모델을 통해 커널이 계산 제한 상태인지 전력 제한 상태인지 시각적으로 식별할 수 있으며, 에너지 효율성을 극대화하는 최적화 전략을 선택하는 데 도움을 준다.

실험 결과

연구 질문

• RQ1 단일 모델링 프레임워크 내에서 계산 성능 및 메모리 성능와 함께 전력 소비와 에너지 효율성을 어떻게 시각화할 수 있는가?
• RQ2 어떤 최적화 기법이 GPU 커널에서 전력 소비를 관리하면서 에너지 효율성을 가장 크게 향상시키는가?
• RQ3 다양한 최적화 전략이 GPU 워크로드에서 성능, 전력, 에너지 효율성 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 입력 데이터 크기가 GPU 커널에서 에너지 효율성과 전력 소비에 어떤 영향을 미치는가?
• RQ5 통합된 룻라인 모델이 개발자가 저전력 고효율 최적화 전략을 효과적으로 선택하도록 안내하는 데 유용한가?

주요 결과

• 제안된 룻라인 모델은 전력 소비와 에너지 효율성 간의 트레이드오프를 성공적으로 시각화하여, 개발자가 커널이 전력 제한 상태인지 계산 제한 상태인지 식별할 수 있게 한다.
• 데이터 국소성 향상 및 메모리 코ales싱과 같은 최적화 기법은 커널을 메모리 제한 영역에서 계산 제한 영역으로 이동시켜 에너지 효율성을 향상시킨다.
• 모델은 데이터 크기가 에너지 효율성(flops per joule)에 영향을 주지 않지만, 운영 부하 증가로 인해 전력 소비에 크게 영향을 준다는 점을 드러낸다.
• 룻라인 모델의 상한선은 특정 최적화 전략이 부과하는 성능 한계를 나타내며, 알고리즘 튜닝을 위한 명확한 시각적 가이드를 제공한다.
• 피크 전력(P_peak)이 전력 소비에 대한 경직된 상한선으로 작용하며, 운영 강도에 따라 성능은 계산 제한 또는 메모리 제한에 의해 제약을 받는다.
• 성능, 전력, 에너지 효율성을 하나의 프레임워크에 통합함으로써, 개발자가 고성능과 저에너지 소비를 균형 있게 달성할 수 있도록 도와준다.