[논문 리뷰] Edge Devices Inference Performance Comparison

Rafał Tobiasz, Grzegorz M. Wilczyński외 3명|arXiv (Cornell University)|2023. 06. 21.

IoT and Edge/Fog ComputingComputer Science인용 수 3

한 줄 요약

이 논문은 네 가지 엣지 플랫폼인 NVIDIA Jetson Nano, Intel Neural Stick, 그리고 Google Coral USB 및 PCIe 장치에서 인기 있는 딥러닝 모델—MobileNet, EfficientNet, ResNet, VGG, InceptionV3—의 추론 성능을 평가한다. 주로 특징 추출기로 사용되는 모델의 행동에 초점을 맞추며, 다양한 입력 크기, 모델 스케일, 분류 헤드 구성에 따른 추론 시간을 측정한다. 주요 결과로는 Google Coral 플랫폼이 가벼운 모델인 MobileNet과 EfficientNet에 대해 가장 빠른 평균 추론 시간을 제공함을 확인하였다.

ABSTRACT

In this work, we investigate the inference time of the MobileNet family, EfficientNet V1 and V2 family, VGG models, Resnet family, and InceptionV3 on four edge platforms. Specifically NVIDIA Jetson Nano, Intel Neural Stick, Google Coral USB Dongle, and Google Coral PCIe. Our main contribution is a thorough analysis of the aforementioned models in multiple settings, especially as a function of input size, the presence of the classification head, its size, and the scale of the model. Since throughout the industry, those architectures are mainly utilized as feature extractors we put our main focus on analyzing them as such. We show that Google platforms offer the fastest average inference time, especially for newer models like MobileNet or EfficientNet family, while Intel Neural Stick is the most universal accelerator allowing to run most architectures. These results should provide guidance for engineers in the early stages of AI edge systems development. All of them are accessible at https://bulletprove.com/research/edge_inference_results.csv

연구 동기 및 목표

• 다양한 엣지 AI 플랫폼에서 인기 있는 딥러닝 모델의 성능을 종합적으로 비교하기 위해.
• 입력 크기, 모델 스케일, 분류 헤드 구성에 따라 추론 시간이 어떻게 변하는지 평가하기 위해.
• 실제 엣지 AI 시스템에서 주로 사용되는 특징 추출기로 사용되는 모델에 특별히 초점을 맞추기 위해.
• 엣지 AI 시스템의 초기 개발 단계에서 최적의 모델-플랫폼 조합을 선택하는 데 도움을 주기 위해.
• 커뮤니티 사용 및 향후 연구를 위해 재현 가능한 벤치마크 데이터를 공개하기 위해.

제안 방법

• 네 가지 엣지 기기에서 추론 성능을 벤치마크했다: NVIDIA Jetson Nano, Intel Neural Stick (NCS2), Google Coral USB, Google Coral PCIe.
• 다섯 가지 모델 패밀리에서 12종의 모델 변형을 평가했다: MobileNet (V1, V2), EfficientNet (V1, V2), ResNet (V1, V2), VGG, InceptionV3.
• 다양한 구성에서 추론 시간을 측정했다: 입력 해상도 (224×224 및 512×512), 분류 헤드의 존재 및 크기 (1000 또는 5개 클래스), 모델 스케일 (예: EfficientNetB0, B1).
• 모든 플랫폼에서 Tensorflow Lite와 TFLite 인터프리터를 사용하여 일관된 모델 배포 및 측정 방법론을 확보했다.
• 다중 런에 걸쳐 추론 시간을 수집하고 로깅하여 신뢰성을 확보했으며, 결과는 https://bulletprove.com/research/edge_inference_results.csv 에 공개되었다.
• 테스트 중 Coral 및 Neural Stick 플랫폼에서 메모리 오버플로우 및 컴파일 실패와 같은 하드웨어 제약 조건을 다루었다.

실험 결과

연구 질문

• RQ1 표준 컴퓨터 비전 모델을 특징 추출기로 사용할 때, 다양한 엣지 AI 플랫폼의 추론 속도는 어떻게 비교되는가?
• RQ2 입력 크기 (224×224 대비 512×512)는 모델과 플랫폼 간의 추론 시간에 어떤 영향을 미치는가?
• RQ3 분류 헤드 추가 (1000 또는 5개 클래스)는 추론 지연에 어떤 영향을 미치는가?
• RQ4 속도, 모델 호환성, 그리고 EfficientNetV2와 같은 현대 아키텍처 지원 측면에서 가장 균형 잡힌 성능을 보이는 플랫폼은 무엇인가?
• RQ5 메모리 제약, 지원되지 않는 연산 등 하드웨어 제약 조건은 엣지 기기에서 모델 배포 및 성능에 어떤 영향을 미치는가?

주요 결과

• Google Coral 플랫폼(USB 및 PCIe)이 가장 빠른 평균 추론 시간을 기록했으며, 512×512 입력 크기에서 ResNet50에 대해 12.24ms를 기록했다.
• 512×512 입력에서 EfficientNetV2B0에 대해 Coral PCIe는 16.26ms의 추론 시간을 기록했으며, 일관성과 확장성 측면에서 Jetson Nano(14.43ms)와 Neural Stick(5.62ms)를 크게 앞섰다.
• Intel Neural Stick는 가장 포괄적인 플랫폼였으며, VGG16 및 ResNet50와 같은 큰 모델까지 성공적으로 실행했지만, 지연 시간이 더 높았다.
• Jetson Nano는 심한 지연 시간 폭증을 보였으며, 가장 느린 플랫폼이었으며, 512×512 입력에서 VGG16에 대해 200ms 이상의 추론 시간을 기록했고, 모델 준비 오버헤드로 인해 버퍼링 요소로 확인되었다.
• Coral 기기들은 모델이 차단 메모리 한계를 초과할 경우 성능 저하를 보였으며, 외부 메모리 접근이 필요해 지연 시간이 증가했다.
• Neural Stick는 VGG16과 같은 큰 모델을 512×512에서 메모리 제약으로 인해 실패했으며, NC_OUT_OF_MEMORY 오류를 반환했지만, Coral 기기들은 더 큰 모델을 더 견고하게 처리했다.