[논문 리뷰] Deploying Deep Neural Networks in the Embedded Space

Stylianos I. Venieris, Alexandros Kouris외 1명|arXiv (Cornell University)|2018. 06. 22.

Advanced Neural Network Applications참고 문헌 25인용 수 9

한 줄 요약

이 논문은 FPGA 기반 가속을 중심으로 임베디드 및 모바일 플랫폼에서 딥 네ural 네트워크(DNN) 배포를 최적화하기 위한 종합적인 프레임워크를 제시한다. fpgaConvNet과 같은 자동화된 툴플로우를 도입하여 CNN에서 FPGA로의 매핑, 저정밀도 캐스케이드 분류기, 다중-CNN 병렬 처리, 근사 LSTM, 도메인 특화 DNN 설계를 구현하며, GPU 기준 대비 최대 6.8배 높은 성능-와트, 그리고 지연 시간 제약 조건 하에서 6.5배 빠른 추론 성능을 달성한다.

ABSTRACT

Recently, Deep Neural Networks (DNNs) have emerged as the dominant model across various AI applications. In the era of IoT and mobile systems, the efficient deployment of DNNs on embedded platforms is vital to enable the development of intelligent applications. This paper summarises our recent work on the optimised mapping of DNNs on embedded settings. By covering such diverse topics as DNN-to-accelerator toolflows, high-throughput cascaded classifiers and domain-specific model design, the presented set of works aim to enable the deployment of sophisticated deep learning models on cutting-edge mobile and embedded systems.

연구 동기 및 목표

• 자원 제약이 있는 임베디드 및 모바일 플랫폼에서 복잡한 DNN을 효율적으로 배포하는 도전 과제를 해결한다.
• FPGA 기반 DNN 가속기 생성을 자동화하여 딥 러닝 연구자와 하드웨어 가속기 간 격차를 메운다.
• 실시간 AI 응용 분야(예: 자율 드론 및 로봇 기술)를 위한 저지연, 고스루풋, 에너지 효율적인 추론을 가능하게 한다.
• 목표 임베디드 하드웨어에 최적화된 정확도와 계산 비용의 균형을 맞춘 도메인 특화 DNN 모델을 개발한다.
• 시간 제약 조건이 있는 시스템에서 근사 계산 기법을 활용해 정확도-계산 비용 트레이드오프를 탐색한다.

제안 방법

• fpgaConvNet은 동기 데이터플로우 모델과 수학적 최적화를 활용해 처리량과 지연 시간을 고려한 설계 공간 탐색을 통해 CNN에서 FPGA로의 매핑을 자동화한다.
• fpgaConvNet 내의 지연 시간 중심 설계 철학은 런타임에서 구성 가능한, 배치 없이도 실행 가능한 저지연 하드웨어 생성을 가능하게 한다.
• CascadeCNN은 저정밀도 정수화와 캐스케이드 추론을 활용해 재학습 데이터가 필요 없이도 고스루풋, 프라이버시 보호 기능을 갖춘 DNN를 구현한다.
• f-CNN${}^\text{x}$p는 엄격한 종단 간 지연 제약 조건을 충족시키면서도 동시에 여러 CNN을 병렬 실행할 수 있는 FPGA 아키텍처를 제안한다.
• 근사 계산 프레임워크는 LSTM 프루닝과 FPGA 하드웨어 매핑을 공동 최적화하여 계산 시간 제약 조건을 충족시키면서도 정확도를 유지한다.
• 도메인 특화 DNN 설계는 맞춤형 정확도-계산 비용 메트릭을 활용해 모델 구조와 플랫폼(예: Odroid-XU4, Raspberry Pi 3) 상의 구현 효율성을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 다양한 성능 요구 조건(예: 고처리량 또는 저지연)을 충족시키기 위해 DNN 추론을 FPGA에 효율적으로 매핑하는 방법은 무엇인가?
• RQ2 특히 프라이버시에 민감한 응용 분야에서 재학습 데이터가 필요 없이 저정밀도 산술을 얼마나 활용할 수 있는가?
• RQ3 엄격한 종단 간 지연 제약 조건을 충족시키면서도 FPGA에서 여러 CNN을 효율적으로 병렬 실행하는 방법은 무엇인가?
• RQ4 시간 제약 조건이 있는 임베디드 시스템에서 근사 계산 기법을 활용해 LSTM 추론을 가속화할 수 있는가, 이때 응용 수준의 정확도를 손상시키지 않고서도 가능한가?
• RQ5 목표 임베디드 하드웨어와 함께 DNN 모델을 공동 설계하여 정확도, 지연 시간, 에너지 효율성 간 최적의 트레이드오프를 달성할 수 있는가?

주요 결과

• fpgaConvNet은 동일한 전력 예산 하에서 최적화된 임베디드 GPU 구현보다 최대 6.65배 높은 성능을 달성한다.
• 지연 시간 중심의 fpgaConvNet 방법론은 배치 없이도 뚜렷이 감소된 지연 시간을 보이며, 실시간 응용을 위한 목표를 향해 설계된다.
• CascadeCNN은 재학습 데이터가 필요 없이 극도로 저정밀도 산술(예: 4비트)을 활용해 고스루풋 추론을 가능하게 하며, 프라이버시에 민감한 환경에 적합하다.
• f-CNN${}^\text{x}$p는 병렬 실행 최적화를 통해 다중-CNN 환경에서 임베디드 GPU 설계 대비 최대 6.8배 높은 성능-와트 성능을 달성한다.
• 근사 LSTM 프레임워크는 기준 가속기 대비 목표 정확도에 도달하는 데 소요되는 시간을 6.5배 단축시키며, 동일한 시간 예산 하에서 정확도는 25배 높게 달성한다.
• 드론 기반 차량 검출을 위한 도메인 특화 DNN 설계는 Odroid-XU4와 Raspberry Pi 3에서 정확도와 추론 속도의 최적 균형을 확보하여 표준 모델 대비 계산 효율성에서 뛰어난 성능을 보인다.