[논문 리뷰] Pick the Right Edge Device: Towards Power and Performance Estimation of CUDA-based CNNs on GPGPUs

Christopher A. Metz, Mehran Goli외 1명|arXiv (Cornell University)|2021. 02. 02.

IoT and Edge/Fog Computing참고 문헌 11인용 수 6

한 줄 요약

이 논문은 GPGPU에서 CUDA 기반 합성곱 신경망(CNNs)의 전력 소비 및 성능을 조기에 추정할 수 있는 기계학습 기반 프레임워크를 제안한다. 아키텍처 및 모델 전용 특징을 활용하여 배포 이전에 최적의 엣지 디바이스 선택을 예측함으로써, 실세계의 머신러닝 워크플로우에서 비용을 절감하고 효율성을 향상시킨다.

ABSTRACT

The emergence of Machine Learning (ML) as a powerful technique has been helping nearly all fields of business to increase operational efficiency or to develop new value propositions. Besides the challenges of deploying and maintaining ML models, picking the right edge device (e.g., GPGPUs) to run these models (e.g., CNN with the massive computational process) is one of the most pressing challenges faced by organizations today. As the cost of renting (on Cloud) or purchasing an edge device is directly connected to the cost of final products or services, choosing the most efficient device is essential. However, this decision making requires deep knowledge about performance and power consumption of the ML models running on edge devices that must be identified at the early stage of ML workflow. In this paper, we present a novel ML-based approach that provides ML engineers with the early estimation of both power consumption and performance of CUDA-based CNNs on GPGPUs. The proposed approach empowers ML engineers to pick the most efficient GPGPU for a given CNN model at the early stage of development.

연구 동기 및 목표

• 엣지 컴퓨팅 환경에서 CUDA 기반 CNN을 배포할 때 가장 비용 효율적이고 효율적인 GPGPU를 선택하는 데 도전 과제를 해결한다.
• ML 엔지니어가 모델 개발의 초도 단계에서 정보 기반 하드웨어 결정을 내릴 수 있도록 한다.
• 엔드포인트 디바이스의 과잉 프로비저닝 또는 저활성화를 최소화하여 운영 비용을 절감한다.
• GPGPU에서의 CNN에 대한 성능 및 전력 소비를 조기에 정확하게 예측할 수 있도록 한다.
• 모델 설계와 하드웨어 배포 사이의 격차를 해소하기 위해 시스템 수준 최적화를 위한 예측 도구를 제공한다.

제안 방법

• 다양한 GPGPU 디바이스에서의 CNN 아키텍처와 그에 해당하는 성능 및 전력 측정치를 담은 데이터셋을 사용해 지도 기반 기계학습 모델을 훈련시킨다.
• 레이어 유형, 필터 크기, 커널 치수, 파라미터 수 등 CNN 모델의 아키텍처 특징을 추출한다.
• 다양한 엣지 GPU 플랫폼에서 벤치마킹을 통해 각 CNN-GPGPU 조합에 대한 실제 성능 및 전력 측정치를 수집한다.
• 입력 특징 기반으로 추론 지연(성능) 및 에너지 소비(전력)를 예측하기 위해 회귀 모델을 사용한다.
• 예측 정확도를 향상시키기 위해 모델 초기화 및 특징 공학을 최적화한다.
• 일관성 있고 강건한 일반화 능력을 확보하기 위해 다수의 GPGPU 플랫폼에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 개발의 조기 단계에서 CUDA 기반 CNN의 성능 및 전력 소비를 얼마나 정확하게 예측할 수 있는가?
• RQ2 CNN의 어떤 아키텍처적 및 운영적 특징이 엣지 GPU에서의 성능 및 에너지 효율성에 가장 예측 가능성이 있는가?
• RQ3 통합된 모델이 다양한 GPGPU 플랫폼 간에 일반화되어 교차 디바이스 비교 및 선택을 지원할 수 있는가?
• RQ4 조기 예측은 디바이스 프로파일링에 소요되는 고비용 및 고시간 소모 작업의 필요성을 어느 정도 줄일 수 있는가?
• RQ5 모델 복잡도와 레이어 구성은 엣지 GPU에서의 성능과 전력 효율성 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 기계학습 기반 모델은 다양한 CNN 아키텍처에서 성능 및 전력 소비에 대해 평균 절대 오차(MAE)가 5% 이하로 매우 높은 예측 정확도를 달성한다.
• 총 파라미터 수, 레이어 깊이, 커널 치수와 같은 아키텍처적 특징이 성능 및 에너지 사용에 가장 영향을 미치는 예측 변수로 확인되었다.
• 모델은 정확한 교차 GPU 비교를 가능하게 하여, 배포 이전에 주어진 CNN에 가장 효율적인 디바이스를 식별할 수 있도록 한다.
• 예측 정확도는 다양한 GPGPU 플랫폼 간에 안정적으로 유지되어 강력한 일반화 능력을 보여준다.
• 설계 단계에서 신뢰할 수 있는 추정치를 제공함으로써, 광범위한 하드웨어 프로파일링의 필요성을 줄일 수 있다.
• 모델 개발 파이pline의 초도 단계에서 성능이 떨어지거나 과잉 프로비저닝된 하드웨어 구성 요소를 조기에 식별함으로써 비용 효율적인 의사결정 지원이 가능하다.