[논문 리뷰] Accelerator-aware Neural Network Design using AutoML

Suyog Gupta, Berkin Akin|arXiv (Cornell University)|2020. 03. 05.

CCD and CMOS Imaging Sensors참고 문헌 11인용 수 49

한 줄 요약

논문은 Edge TPU용 엣지 최적화 비전 모델을 설계하기 위한 가속기 인식 신경망 구조 검색(NAS)을 제안하여 EfficientNet-EdgeTPU와 MobilenetEdgeTPU를 생성하고 Coral 및 Pixel 4 기기에서 지연-정확도 트레이드오프를 개선한다. 이 방법은 지연 모델링, 하드웨어 인식 검색 공간 설계, NAS를 결합하여 특정 가속기에 맞춤화된 모델을 만든다.

ABSTRACT

While neural network hardware accelerators provide a substantial amount of raw compute throughput, the models deployed on them must be co-designed for the underlying hardware architecture to obtain the optimal system performance. We present a class of computer vision models designed using hardware-aware neural architecture search and customized to run on the Edge TPU, Google's neural network hardware accelerator for low-power, edge devices. For the Edge TPU in Coral devices, these models enable real-time image classification performance while achieving accuracy typically seen only with larger, compute-heavy models running in data centers. On Pixel 4's Edge TPU, these models improve the accuracy-latency tradeoff over existing SoTA mobile models.

연구 동기 및 목표

• 리소스 제약 하드웨어에서 프라이버시를 보호하고 응답 속도가 빠른 온-디바이스 ML의 동기를 제시한다.
• 타깃 가속기와의 공동 설계로 하드웨어 인식 NAS가 수동으로 설계된 모바일 모델을 능가할 수 있음을 증명한다.
• 정확도와 지연을 최적화하기 위한 지연 추정 방법과 하드웨어 인식 검색 프레임워크를 개발한다.
• Edge TPU 활용도를 극대화하는 블록을 포함하고 상호 작용하지 않는 연산은 제외하도록 검색 공간을 맞춤화한다.

제안 방법

• 대상 하드웨어에서 지연을 추정하는 가속기 성능 예측기를 사용하여 NAS를 확장한다.
• 사이클-정확한 Edge TPU 시뮬레이터를 사용해 모델 지연을 추정하고 빠른 지연 추정을 위한 분석 성능 모델(APM)을 활용한다.
• 다중 목표 보상에서 정확도와 함께 지연을 NAS 목적에 포함한다.
• 가용성을 높이기 위해 융합된 inverted bottleneck 컨볼루션 등 하드웨어 인식 블록으로 검색 공간을 설계한다.
• 생산용 Edge TPU 소프트웨어에서 지원되지 않는 연산을 제외하여 배포 가능성을 보장한다.
• EfficientNet 스타일의 합성 규모 조정으로 (-S, -M, -L) 변형을 생성하도록 아키텍처를 확장한다.

실험 결과

연구 질문

• RQ1 가속기 인식 NAS가 Edge TPU 하드웨어에서 수동으로 조정된 모바일 아키텍처를 능가하는 모델을 찾을 수 있는가?
• RQ2 지연 추정 방법(사이클 수준 시뮬레이션 대 분석 모델)이 NAS의 효율성과 결과에 어떤 영향을 미치는가?
• RQ3 Coral 대 Pixel 4 배포에 대해 어떤 아키텍처 블록이 Edge TPU 활용도와 정확도를 극대화하는가?
• RQ4 검색된 모델이 지연, 정확도, 배포 가능성 측면에서 기준 모바일 및 효율적 네트워크와 어떻게 비교되는가?

주요 결과

• EfficientNet-EdgeTPU-S/M/L은 Coral 기기에서 Edge TPU에서 ResNet50 및 Inception보다 빠른 실행 시간과 더 높은 정확도를 달성한다.
• MobilenetEdgeTPU 모델은 Pixel 4 Edge TPU에서 75.6% top-1 정확도를 달성하고 MobilenetV3 대비 지연이 30% 낮다.
• NAS-생성 모델은 기존 모바일 모델에 비해 Edge TPU 대상의 정확도-지연 Pareto 프런티어를 개선한다.
• Pixel 4에서 MobilenetEdgeTPU는 Coral에서와 다른 지연 특성을 보이며 하드웨어별 검색 공간 필요성을 강조한다.
• 가속기 인식 NAS는 특정 Edge TPU 변형 및 생산 스택에 맞춰 모델을 조정함으로써 수동 아키텍처 엔지니어링을 줄인다.