[논문 리뷰] NAIS: Neural Architecture and Implementation Search and its Applications in Autonomous Driving

Cong Hao, Yao Chen외 10명|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 FPGAs와 GPUs와 같은 대상 플랫폼을 위한 깊이 신경망(DNNs)과 그 하드웨어 구현을 동시에 최적화하는 공동 설계 방법론인 신경망 아키텍처 및 구현 탐색(NAIS)을 제안한다. 하드웨어 인지 탐색을 신경망 아키텍처 탐색에 통합함으로써 NAIS는 낮은 지연 시간과 높은 효율성을 갖춘 고성능 모델을 달성하였으며, 임베디드 GPU와 FPGA 가속기에서 실시간 객체 검출 네트워크(SkyNet)를 통해 이를 입증하였다.

ABSTRACT

The rapidly growing demands for powerful AI algorithms in many application domains have motivated massive investment in both high-quality deep neural network (DNN) models and high-efficiency implementations. In this position paper, we argue that a simultaneous DNN/implementation co-design methodology, named Neural Architecture and Implementation Search (NAIS), deserves more research attention to boost the development productivity and efficiency of both DNN models and implementation optimization. We propose a stylized design methodology that can drastically cut down the search cost while preserving the quality of the end solution.As an illustration, we discuss this DNN/implementation methodology in the context of both FPGAs and GPUs. We take autonomous driving as a key use case as it is one of the most demanding areas for high quality AI algorithms and accelerators. We discuss how such a co-design methodology can impact the autonomous driving industry significantly. We identify several research opportunities in this exciting domain.

연구 동기 및 목표

• 고정확도 DNN 모델과 그 효율적인 하드웨어 구현 간의 갭을 해소하기 위해 DNN와 구현의 고립된 설계를 제거한다.
• 자동화된 동시 공동 설계를 통해 설계 주기를 단축하고 개발 생산성을 향상시킨다.
• 성능, 자원 제약, 하드웨어 특성에 대해 공동 최적화함으로써 다양한 플랫폼—특히 FPGAs와 GPUs—에서 AI 모델의 효율적 구현을 가능하게 한다.
• 자율 주행과 같은 고위험 분야에서 반제품 플랫폼(예: FPGAs)에서 완전 맞춤형 ASICs로의 스케일러블한 전환 경로를 제공한다.
• 하드웨어 지식을 DNN 설계 과정의 초기 단계에 통합함으로써 알고리즘 설계와 저수준 구현 최적화 간의 괴리를 해소한다.

제안 방법

• 정의된 공동 설계 공간 내에서 신경망 아키텍처 공간과 하드웨어 구현 공간을 동시에 탐색할 수 있는 통합 프레임워크인 NAIS를 제안한다.
• 지연 시간, 처리량, 메모리 대역폭 등의 하드웨어 성능 지표를 탐색 목적에 통합하여 DNN 아키텍처 선택을 이끌도록 한다.
• 하드웨어 인지 보상 함수를 갖춘 미분 가능하거나 강화학습 기반의 NAS 엔진을 사용하여 DNN 및 구현 구성에 대한 효율적인 탐색을 가능하게 한다.
• NAIS 방법론을 FPGA 및 GPU 플랫폼 모두에 적용하여, FPGA에서는 맞춤형 하드웨어 가속기, GPU에서는 최적화된 소프트웨어 스택을 탐색한다.
• 재구성 가능한 하드웨어(예: FPGAs)를 ASIC으로의 다리로 활용하여 반제품에서 완전 맞춤형 플랫폼으로의 검증 및 이행을 가능하게 한다.
• NVIDIA Jetson TX2와 같은 임베디드 GPU에서 추론에 최적화된 경량 객체 검출 네트워크인 SkyNet에 대해 사례 연구를 수행하여 접근 방식을 입증한다.

실험 결과

연구 질문

• RQ1 목표 플랫폼에서 모델 정확도와 시스템 성능(지연 시간, 처리량)을 동시에 최대화하기 위해 DNN 아키텍처와 하드웨어 구현을 어떻게 공동 최적화할 수 있는가?
• RQ2 메모리, 계산 능력, 대역폭 등의 하드웨어 제약 조건을 신경망 아키텍처 탐색 과정에 통합할 경우 최종 솔루션의 품질에 어떤 영향을 미치는가?
• RQ3 기존의 상향식 접근 방식과 비교해 볼 때, NAIS와 같은 통합 공동 설계 방법론이 설계 주기를 크게 단축하고 개발 생산성을 향상시킬 수 있는가?
• RQ4 자율 주행과 같은 안전이 중요한 응용 분야에서 NAIS는 반제품 플랫폼인 FPGA에서 완전 맞춤형 ASICs로의 스케일러블한 전환 경로를 어떻게 제공하는가?
• RQ5 하드웨어 인지 DNN 탐색은 임베디드 AI 시스템에서 실시간 성능과 자원 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• NAIS는 FPGAs와 GPUs와 같은 특정 하드웨어 플랫폼에 내재적으로 최적화된 DNN 아키텍처의 발견을 가능하게 하여 높은 정확도와 낮은 지연 시간을 달성한다.
• Jetson TX2 플랫폼에서 NAIS를 통해 공동 설계된 SkyNet 네트워크는 객체 검출에서 실시간 성능을 달성하여 이 접근 방식의 실용성을 입증한다.
• DNN과 구현을 공동 설계함으로써 모델와 구현 단계 간의 반복적 보완 과정이 줄어들어 설계 주기가 단축된다.
• 자원 제약과 지연 시간 제약 하에서도 예측 가능한 성능을 제공하므로, 자율 주행과 같은 안전이 중요한 응용 분야에 적합하다.
• NAIS는 FPGA 기반 프로토타입에서 ASICs로의 이행을 위한 실현 가능한 길을 제공하여 NRE 비용을 줄이고 맞춤형 가속기의 시장 진입 시간을 가속화한다.
• 모델 정확도에만 집중하거나 제한된 하드웨어 피드백을 포함하는 기존의 NAS 방법에 비해 NAIS는 DNN과 구현 탐색을 통합함으로써 더 나은 종단 간 시스템 성능을 달성한다.