[논문 리뷰] Energy Concerns with HPC Systems and Applications

R. Kanyou Nana, Claude Tadonki외 2명|arXiv (Cornell University)|2023. 08. 31.

Parallel Computing and Optimization TechniquesComputer Science인용 수 3

한 줄 요약

이 종합 논문은 고성능 컴퓨팅(HPC) 및 임베디드 시스템에서의 에너지 효율성 도전 과제를 분석하며, 하드웨어 아키텍처, 에너지 메트릭, 냉각 시스템 및 최적화 기법을 다룹니다. 에너지 효율성이 운영 비용 감소와 온실가스 배출 감소에 핵심적임을 강조하며, 주요 발견으로 전용 가속기인 TPU와 효율적인 마이크로컨트롤러가 AI 추론 워크로드에서 CPU 대비 2–5배 높은 성능/와트 성능을 제공하고, 에너지 효율성을 20배 향상시킬 수 있음을 보여줍니다.

ABSTRACT

For various reasons including those related to climate changes, {\em energy} has become a critical concern in all relevant activities and technical designs. For the specific case of computer activities, the problem is exacerbated with the emergence and pervasiveness of the so called {\em intelligent devices}. From the application side, we point out the special topic of {\em Artificial Intelligence}, who clearly needs an efficient computing support in order to succeed in its purpose of being a {\em ubiquitous assistant}. There are mainly two contexts where {\em energy} is one of the top priority concerns: {\em embedded computing} and {\em supercomputing}. For the former, power consumption is critical because the amount of energy that is available for the devices is limited. For the latter, the heat dissipated is a serious source of failure and the financial cost related to energy is likely to be a significant part of the maintenance budget. On a single computer, the problem is commonly considered through the electrical power consumption. This paper, written in the form of a survey, we depict the landscape of energy concerns in computer activities, both from the hardware and the software standpoints.

연구 동기 및 목표

• 고성능 컴퓨팅(HPC) 및 임베디드 시스템과 관련된 증가하는 에너지 비용과 탄소 발자국을 해결하기 위해.
• 냉각 및 운영 비용으로 인해 HPC에서, 배터리 수명 제한으로 인해 임베디드 시스템에서 에너지 효율성이 핵심 제약 조건임을 분석하기 위해.
• 하드웨어, 소프트웨어, 시스템 수준 최적화에서의 에너지 인지 설계의 역할을 조사하기 위해.
• AI 워크로드가 에너지 소비에 미치는 영향을 평가하고, 에너지 소비를 줄이기 위한 최적화 전략을 탐색하기 위해.
• 다양한 컴퓨팅 플랫폼을 위한 에너지 메트릭, 프로파일링 도구, 냉각 기술 및 최적화 기법에 대한 종합적인 개요를 제공하기 위해.

제안 방법

• HPC 및 임베디드 시스템 전반에서 에너지 메트릭, 전력 측정, 에너지 프로파일링 도구에 관한 기존 문헌에 대한 종합적 검토.
• 에너지 효율성 하드웨어의 분류 및 분석: GPU, TPU, FPGA, 마이크로컨트롤러(예: Arduino, Raspberry Pi, Coral Dev Board), SoC.
• CPU, GPU 및 마이크로컨트롤러용 에너지 관리 도구 평가: 런타임 모니터링 및 동적 전압/주파수 스케일링 포함.
• 열 방출을 관리하고 효율성을 향상시키기 위해 HPC 시스템에서의 액체 냉각 추세를 포함한 냉각 기술 검토.
• 소프트웨어 스택 및 시스템 계층 전반에서 정적, 동적, 하이브리드 에너지 최적화 기법에 대한 체계적 분석.
• AI 전용 에너지 최적화 조사: 양자화, 정렬, 모델 압축, 신경망 아키텍처 탐색, 지식 증류, 하드웨어 선택(예: TPU, A100 GPU)이 핵심 추진력임을 확인.

Figure 1. Taxonomy of power/energy management solutions with related approaches and tools.

실험 결과

연구 질문

• RQ1 현대 HPC 및 임베디드 시스템에서 에너지 소비와 탄소 발자국 메트릭 간의 상관관계는 어떻게 되는가?
• RQ2 AI 추론 및 HPC 워크로드에서 에너지 소비를 최소화하는 데 가장 효과적인 하드웨어 가속기와 마이크로컨트롤러 플랫폼은 무엇인가?
• RQ3 다양한 시스템 계층에서 동적 및 정적 에너지 최적화 기법이 성능 및 에너지 절감 측면에서 어떻게 비교되는가?
• RQ4 모델 압축과 지식 증류는 정확도를 손상시키지 않으면서 AI 추론의 에너지 비용을 얼마나 줄일 수 있는가?
• RQ5 냉각 시스템과 시스템 수준 정책은 지속 가능한 HPC 및 임베디드 컴퓨팅 달성에 어떤 역할을 하는가?

주요 결과

• Frontier 엑사스케일 시스템은 1.102 EFlop/s 성능을 내기 위해 21.1 MW를 소비하고, Fugaku는 442 PFlop/s 성능을 내기 위해 29.9 MW를 소비하며, Lumi는 151.9 PFlop/s 성능을 내기 위해 2.94 MW를 소비하여 HPC 시스템의 증가하는 에너지 비용을 부각시킵니다.
• Coral Dev Board 마이크로컨트롤러는 AI 추론 워크로드에서 시간-해결 및 에너지 효율성 측면에서 Intel Skylake CPU를 20배 이상 뛰어넘습니다.
• 일반 목적 CPU 대비 TPU나 A100 GPU를 사용할 경우 기계학습 학습 과정에서 성능/와트 성능이 2배에서 5배 향상됩니다.
• 양자화와 지식 증류는 각각 모델 크기를 최대 40%, 60%까지 줄일 수 있으며, BERT의 언어 이해 능력의 97%를 유지할 수 있습니다.
• 정적 전력 소비는 데이터센터의 에너지 소비에 큰 영향을 미치므로, 비활성 상태에서의 전력 관리가 필수적입니다.
• 액체 냉각과 칩 수준의 열 관리 기술은 확장 가능하고 효율적인 HPC 냉각을 위한 필수 솔루션으로 부상하고 있으며, 향후 시스템을 위한 양자 냉각 기술도 탐색되고 있습니다.

Figure 2. READEX working diagram