[논문 리뷰] Performance Prediction for Convolutional Neural Networks in Edge Devices

Halima Bouzidi, Hamza Ouarnoughi외 2명|arXiv (Cornell University)|2020. 10. 21.

Advanced Neural Network Applications참고 문헌 16인용 수 5

한 줄 요약

이 논문은 엣지 GPU 플랫폼에서 컨볼루션 네트워크(CNN)의 추론 실행 시간을 예측하기 위해 다섯 가지 기계학습 모델—OLS, MLP, SVR, 랜덤 포레스트, XGBoost—을 평가한다. XGBoost는 새로운 아키텍처에서도 평균 예측 오차가 14.73% 미만이었으며, 정확도, 학습 효율성, 추론 지연 시간 측면에서 가장 우수한 성능을 보였다.

ABSTRACT

Running Convolutional Neural Network (CNN) based applications on edge devices near the source of data can meet the latency and privacy challenges. However due to their reduced computing resources and their energy constraints, these edge devices can hardly satisfy CNN needs in processing and data storage. For these platforms, choosing the CNN with the best trade-off between accuracy and execution time while respecting Hardware constraints is crucial. In this paper, we present and compare five (5) of the widely used Machine Learning based methods for execution time prediction of CNNs on two (2) edge GPU platforms. For these 5 methods, we also explore the time needed for their training and tuning their corresponding hyperparameters. Finally, we compare times to run the prediction models on different platforms. The utilization of these methods will highly facilitate design space exploration by providing quickly the best CNN on a target edge GPU. Experimental results show that eXtreme Gradient Boosting (XGBoost) provides a less than 14.73% average prediction error even for unexplored and unseen CNN models' architectures. Random Forest (RF) depicts comparable accuracy but needs more effort and time to be trained. The other 3 approaches (OLS, MLP and SVR) are less accurate for CNN performances estimation.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 CNN의 설계 공간 탐색을 빠르게 수행하기 위해 설계 과정 초반에 추론 실행 시간을 조기에 예측함으로써 목표를 달성한다.
• 엣지 GPU 플랫폼에서 CNN 성능 예측에 가장 정확하고 효율적이며 확장 가능한 기계학습 모델을 특정하기 위한 목표를 달성한다.
• 여러 기계학습 모델 간에 예측 정확도, 모델 학습 시간, 하이퍼파rameter 조정 비용, 추론 지연 시간 간의 상호 상충 관계를 평가하기 위한 목표를 달성한다.
• 다른 엣지 GPU 플랫폼(NVIDIA AGX 및 TX2) 간에 예측 모델의 일반화 능력을 평가하기 위한 목표를 달성한다.

제안 방법

• 성능 예측을 위한 입력으로 20개의 CNN 아키텍처 특징(예: 깊이, 너비, 커널 크기, FLOPs, 파라미터 수 등)을 추출하였다.
• 일반선형제곱법(OLS), 다층퍼셉트론(MLP), 서포트벡터리gression(SVR), 랜덤 포레스트(RF), eXtreme Gradient Boosting(XGBoost)의 다섯 가지 회귀 모델을 학습하였다.
• NVIDIA AGX 및 TX2 엣지 GPU에서 하이퍼파rameter 조정을 위해 그리드 서치를 사용하였으며, 학습 데이터는 100개 이상의 CNN을 프로파일링하여 수집하였다.
• NIS(새로운, 미사용된 아키텍처), NCV(새로운, 검증된 아키텍처), NCA(새로운, 보강된 아키텍처) CNN 세 가지 평가 영역에서 모델 성능을 측정하고 비교하였다.
• AGX, TX2, CPU 워크스테이션에서 각 모델의 예측 지연 시간을 측정하여 설계 탐색에서 실시간 사용 가능성을 평가하였다.
• 예측 정확도를 정량화하기 위해 평균 절대 퍼센트 오차(MAPE)를 사용하여 결과를 보고하고, 다양한 모델과 플랫폼 간에 비교하였다.

실험 결과

연구 질문

• RQ1 새로운 아키텍처에 대해 엣지 GPU에서 CNN의 추론 실행 시간을 가장 정확하게 예측할 수 있는 기계학습 모델은 무엇인가?
• RQ2 실제로 다섯 가지 모델의 학습 시간, 하이퍼파rameter 조정 비용, 추론 지연 시간은 어떻게 비교되는가?
• RQ3 학습되지 않은 새로운 CNN 아키텍처로 일반화할 경우 모델의 예측 정확도가 크게 떨어지는가?
• RQ4 재학습 없이도 AGX와 TX2 등 서로 다른 엣지 GPU 플랫폼 간에 훈련된 모델의 이식성은 어느 정도인가?
• RQ5 이 모델들은 엣지 디바이스에 대한 CNN 배포를 위한 실시간 설계 공간 탐색에 효율적으로 사용될 수 있는가?

주요 결과

• XGBoost는 NCA 영역을 포함한 모든 테스트 세트에서 평균 예측 오차가 14.73% 미만으로 가장 낮은 성능을 보였다.
• 랜덤 포레스트(RF)는 XGBoost와 유사한 정확도를 보였지만, 학습 및 조정에 훨씬 더 많은 시간과 노력이 소요되어 빠른 설계 탐색에는 덜 실용적이다.
• OLS는 CNN 특징과 실행 시간 간의 복잡한 비선형 관계를 모델링할 수 없어 가장 높은 MAPE 값을 기록하였다.
• SVR과 MLP는 XGBoost와 RF보다 정확도가 떨어졌으며, SVR은 MAPE의 변동성이 크고 커널 유형 및 C 하이퍼파rameter 값에 민감하였다.
• XGBoost는 NIS 및 NCV에서 92%의 예측 정확도를 기록하며, 예측 정확도(92%), 하이퍼파rameter 조정 복잡도, 추론 지연 시간 측면에서 가장 우수한 종합적 트레이드오프를 보였다. 이는 모든 다른 모델보다 빠른 속도를 기록하였다.
• 예측 모델은 NVIDIA AGX 및 TX2 플랫폼에서 유사한 성능을 보였으며, 이는 강력한 플랫폼 간 일반화 잠재력을 시사한다.