[논문 리뷰] Hardware-Aware Machine Learning: Modeling and Optimization

Diana Marculescu, Dimitrios Stamoulis외 1명|arXiv (Cornell University)|2018. 09. 14.

Parallel Computing and Optimization Techniques인용 수 6

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN)의 하드웨어 효율성을 위한 예측 모델링 및 최적화에 중점을 두어 하드웨어 인지 기계학습에 대한 종합적인 설문 조사 결과를 제시한다. 정확도를 유지하면서 지연 시간과 에너지 소비를 동시에 최소화하는 하드웨어 인지 초모수 최적화 기법을 제안함으로써, 모바일 디바이스부터 데이터센터에 이르기까지 다양한 플랫폼에서 DNN과 가속기의 공동 설계를 가능하게 한다.

ABSTRACT

Recent breakthroughs in Deep Learning (DL) applications have made DL models a key component in almost every modern computing system. The increased popularity of DL applications deployed on a wide-spectrum of platforms have resulted in a plethora of design challenges related to the constraints introduced by the hardware itself. What is the latency or energy cost for an inference made by a Deep Neural Network (DNN)? Is it possible to predict this latency or energy consumption before a model is trained? If yes, how can machine learners take advantage of these models to design the hardware-optimal DNN for deployment? From lengthening battery life of mobile devices to reducing the runtime requirements of DL models executing in the cloud, the answers to these questions have drawn significant attention. One cannot optimize what isn't properly modeled. Therefore, it is important to understand the hardware efficiency of DL models during serving for making an inference, before even training the model. This key observation has motivated the use of predictive models to capture the hardware performance or energy efficiency of DL applications. Furthermore, DL practitioners are challenged with the task of designing the DNN model, i.e., of tuning the hyper-parameters of the DNN architecture, while optimizing for both accuracy of the DL model and its hardware efficiency. Therefore, state-of-the-art methodologies have proposed hardware-aware hyper-parameter optimization techniques. In this paper, we provide a comprehensive assessment of state-of-the-art work and selected results on the hardware-aware modeling and optimization for DL applications. We also highlight several open questions that are poised to give rise to novel hardware-aware designs in the next few years, as DL applications continue to significantly impact associated hardware systems and platforms.

연구 동기 및 목표

• 모바일에서 데이터센터 시스템에 이르기까지 다양한 하드웨어 플랫폼에 에너지 및 지연 시간 제약이 있는 DNN를 구현하는 데 점점 커지는 과제를 해결한다.
• 기존의 DNN 설계 방식이 초모수 조정 시 하드웨어 효율성을 무시하는 데서 비롯하는 한계를 극복한다.
• 학습 이전에 DNN 런타임과 에너지 소비를 예측할 수 있는 예측 모델을 활용하여 효율적인 모델 및 하드웨어 공동 설계를 이끌 수 있도록 조기 예측을 가능하게 한다.
• 하드웨어 성능을 제1의 제약 조건으로 통합함으로써 자동화된 신경망 아키텍처 탐색(NAS)의 최첨단 기술을 발전시킨다.
• 하드웨어 인지 DNN 설계 분야에서 크로스플랫폼 모델링 및 다목적 최적화에 대한 열린 연구 방향을 규명한다.

제안 방법

• Eyeries, Paleo, NeuralPower와 같은 런타임 및 에너지 추정 프레임워크를 포함한 기존 DNN 하드웨어 성능 예측 모델을 설문 및 평가한다.
• 하드웨어 메트릭(예: 지연 시간, 에너지 소비)을 목적 함수로 포함하는 베이지안 최적화 및 NAS 기반 방법을 활용한 하드웨어 인지 초모수 최적화 기법을 제안한다.
• 특히 복잡한 비순차적 연산을 포함하는 NAS에서 사용되는 비선형 DNN 아키텍처를 다룰 수 있도록 예측 모델을 확장한다.
• GPU, FPGA, 재구성 가능한 가속기 등 다양한 하드웨어를 포함한 다양한 하드웨어 간 일반화가 가능한 크로스플랫폼 예측 모델을 개발한다.
• DNN 아키텍처와 하드웨어 파rameter(예: 처리 요소 수)를 함께 최적화하는 공동 설계 파이프라인에 하드웨어 인지 모델을 통합한다.
• 정확도, 지연 시간, 에너지 소비, 하드웨어 활용도를 다양한 플랫폼 간 균형 잡힌 다목적 최적화 문제를 수립한다.

실험 결과

연구 질문

• RQ1 학습 이전에 아키텍처 초모수 기반으로 DNN 런타임과 에너지 소비를 정확하게 예측할 수 있는 모델을 구축할 수 있는가?
• RQ2 정확도를 희생시키지 않고 하드웨어 효율성을 신경망 아키텍처 탐색(NAS) 및 초모수 최적화에 효과적으로 통합할 수 있는가?
• RQ3 NAS에서 사용되는 비선형 및 복잡한 DNN 아키텍처(예: 셀 기반 아키텍처)로 하드웨어 인지 모델을 확장할 때의 주요 과제는 무엇인가?
• RQ4 예측 모델을 모바일, 엣지, 서버 시스템을 포함한 다양한 하드웨어 플랫폼 간 이식 가능하게 만들 수 있는가?
• RQ5 예를 들어 처리 요소 수와 같은 하드웨어 파rameter와 DNN 아키텍처를 공동 최적화함으로써 성능 및 에너지 효율성 향상에 어떤 이점이 있는가?

주요 결과

• 동일한 정확도를 달성하는 DNN들 사이에는 최대 40배의 에너지 소비 차이가 존재할 수 있어 하드웨어 인지 설계의 필요성을 강조한다.
• 하드웨어 인지 NAS 및 초모수 최적화 기법은 정확도, 지연 시간, 에너지 효율성의 파레토 최적 해에 더 가까운 모델을 식별할 수 있다.
• 기존의 예측 모델은 주로 선형 또는 파이프라인형 DNN에 국한되어 있으며, 복잡한 비순차적 연산을 포함하는 셀 기반 NAS 아키텍처를 다루기 위해 확장되어야 한다.
• 다양한 하드웨어 플랫폼 간 지식을 이관하고 이식 가능하고 효율적인 DNN 배포를 가능하게 하기 위해 크로스플랫폼 하드웨어 인지 모델이 필수적이다.
• 재구성 가능한 FPGA와 같은 하드웨어 가속기와 DNN을 예측 모델에 기반해 공동 최적화함으로써 에너지 소비 및 성능 향상에 상당한 기여를 이룰 수 있다.
• 정확도와 지연 시간을 넘어서 하드웨어 활용도와 같은 요소까지 고려하는 다목적 최적화는 더 효율적이고 확장 가능한 배포를 가능하게 한다.