[논문 리뷰] Power Consumption Modeling and Prediction in a Hybrid CPU-GPU-MIC Supercomputer (preliminary version)

Alina Sîrbu, Özalp Babaoğlu|arXiv (Cornell University)|2016. 01. 22.

Parallel Computing and Optimization Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 역사적 작업 트레이스와 서포트 벡터 회귀(SVR)를 사용하여 하이브리드 CPU-GPU-MIC 슈퍼컴퓨터를 대상으로 데이터 기반의 전력 소비 모델링 프레임워크를 제안한다. 응용 프로그램 이름, 자원 사용량, 작업 기간 등의 작업 수준 특징을 활용하여 사용자별 작업 전력 소비를 80% 이상 정확도로 예측함으로써, 저수준 시스템 인스트루멘테이션이나 코드 분석 없이 실시간 전력 인식 스케줄링 및 청구를 가능하게 한다.

ABSTRACT

Power consumption is a major obstacle for High Performance Computing (HPC) systems in their quest towards the holy grail of ExaFLOP performance. Significant advances in power efficiency have to be made before this goal can be attained and accurate modeling is an essential step towards power efficiency by optimizing system operating parameters to match dynamic energy needs. In this paper we present a study of power consumption by jobs in Eurora, a hybrid CPU-GPU-MIC system installed at the largest Italian data center. Using data from a dedicated monitoring framework, we build a data-driven model of power consumption for each user in the system and use it to predict the power requirements of future jobs. We are able to achieve good prediction results for over 80% of the users in the system. For the remaining users, we identify possible reasons why prediction performance is not as good. Possible applications for our predictive modeling results include scheduling optimization, power-aware billing and system-scale power modeling. All the scripts used for the study have been made available on GitHub.

연구 동기 및 목표

• 엑사플롭 수준의 HPC 시스템에서 에너지 효율성의 핵심 과제를 해결하기 위해 정확한 작업 전력 예측을 가능하게 하기 위해.
• 응용 프로그램 코드나 저수준 시스템 모니터링을 요구하지 않는 사용자 중심의 데이터 기반 전력 모델링 접근법을 개발하기 위해.
• 예측 분석을 통해 전력 인식 스케줄링, 청구 및 시스템 수준의 전력 모델링을 지원하기 위해.
• 하이브리드 CPU-GPU-MIC 아키텍처에서 전력 소비에 영향을 미치는 주요 작업 수준 특징을 규명하고 검증하기 위해.
• 유연성과 적응성을 확보하기 위해 주기적인 재학습을 수행하는 실시간 전력 예측 모델의 구현을 가능하게 하기 위해.

제안 방법

• 연구는 유로라 슈퍼컴퓨터에서 5초 간격으로 수집된 역사적 작업 트레이스를 사용하여 응용 프로그램 이름, 사용된 CPU/GPU/MIC 수, 작업 기간 등의 작업 수준 특징을 추출한다.
• 전력 소비는 서포트 벡터 회귀(SVR)를 사용한 회귀 문제로 모델링되며, 각 사용자의 이력 작업 데이터 기반으로 별도의 모델이 훈련된다.
• 컴ponent 수준 전력(CPU, GPU, MIC)은 5분 간격으로 노드별 전력 소비를 합산하여 계산되며, 총 작업 전력은 컴포넌트 전력의 합이다.
• 프레임워크는 scikit-learn을 사용해 훈련되고, 초기 데이터 분석을 위해 Google BigQuery를 활용하며, 모든 스크립트는 GitHub에 오픈소스로 공개된다.
• 각 사용자별로 다중-SVR 모델을 사용하여 개인의 사용 패턴을 정확히 반영하며, 구성 요소 수만 고려하는 기준선 향상 평균 모델(EAM)보다 성능이 뛰어나다.
• 모델을 오프라인으로 훈련하고 매월 업데이트함으로써 실시간 예측을 지원하며, 사용자별 병렬 처리 덕분에 계산 오버헤드가 매우 낮다.

실험 결과

연구 질문

• RQ1 하이브리드 CPU-GPU-MIC 슈퍼컴퓨터에서 고수준 작업 특징과 역사적 데이터만을 사용하여 작업 전력 소비를 정확하게 예측할 수 있는가?
• RQ2 구성 요소 수를 초월하여 이질적인 HPC 시스템에서 전력 소비에 가장 크게 영향을 미치는 작업 수준 특징는 무엇인가?
• RQ3 예측 정확도 측면에서 사용자별 모델링이 응용 프로그램 수준 또는 평균 기반 모델링보다 어떻게 비교되는가?
• RQ4 데이터 품질과 변동성은 전력 예측 모델의 성능에 어느 정도 영향을 미치는가?
• RQ5 제안된 프레임워크는 실시간으로 전력 인식 스케줄링 및 시스템 수준의 전력 모델링에 적용 가능한가?

주요 결과

• 제안된 SVR 기반 사용자별 모델은 80%의 사용자에 대해 예측 오차가 20% 이내로 유지되며, 향상 평균 모델(EAM)보다 뚜렷이 뛰어난 성능을 보였다.
• 응용 프로그램 이름, 작업 기간, 다른 작업의 동시 자원 사용량 등의 특징을 포함시킴으로써 구성 요소 수 기반 모델을 초월한 예측 정확도 향상이 이루어졌다.
• 20%의 사용자에 대해 성능 저하가 주로 데이터 노이즈와 일관되지 않은 작업 이름 또는 자원 사용 패턴으로 인해 발생하였다.
• 프레임워크는 계산적으로 효율적이며, 모든 사용자에 대해 전역 모델 훈련은 단 2.92 코어시간, 한 달치 전체 데이터에 대한 추론은 전역적으로 6.81분이면 충분했다.
• 이 방법은 확장 가능하고 병렬 처리가 가능하여, 다중 코어 클러스터에서 매월 약 3시간의 재학습 시간만으로도 대규모 HPC 시스템에 적합하다.
• 이 접근법은 전력 인식 스케줄링, 시스템 수준의 전력 모델링, 청구 및 자원 계획을 위한 사용자 측 전력 추정과 같은 실용적 응용을 가능하게 한다.