[논문 리뷰] AI Benchmark: Running Deep Neural Networks on Android Smartphones

Andrey Ignatov, Radu Timofte외 5명|arXiv (Cornell University)|2018. 10. 02.

IoT and Edge/Fog Computing참고 문헌 39인용 수 26

한 줄 요약

이 논문은 안드로이드 스마트폰에서 딥 뉴럴 네트워크의 추론 속도와 효율성을 측정하기 위한 종합적인 성능 평가 프레임워크인 AI Benchmark를 제시한다. 주요 SoC 플랫폼(퀄컴, 히실리콘, 마이크로티엔, 삼성)에서 실세계 워크로드를 사용해 하드웨어 가속 기능을 평가한 결과, 부동소수점 정밀도 모델에서 화웨이의 히알린 970(NPU 탑재)가 다른 플랫폼을 압도적으로 앞서며 성능을 보였으며, 양자화된 네트워크는 도구와 정확도 문제로 인해 여전히 제한을 받는다.

ABSTRACT

Over the last years, the computational power of mobile devices such as smartphones and tablets has grown dramatically, reaching the level of desktop computers available not long ago. While standard smartphone apps are no longer a problem for them, there is still a group of tasks that can easily challenge even high-end devices, namely running artificial intelligence algorithms. In this paper, we present a study of the current state of deep learning in the Android ecosystem and describe available frameworks, programming models and the limitations of running AI on smartphones. We give an overview of the hardware acceleration resources available on four main mobile chipset platforms: Qualcomm, HiSilicon, MediaTek and Samsung. Additionally, we present the real-world performance results of different mobile SoCs collected with AI Benchmark that are covering all main existing hardware configurations.

연구 동기 및 목표

• 안드로이드 스마트폰에서 딥 러닝 추론의 현재 상태를 성능과 하드웨어 가속 기능에 중점을 두고 평가하기.
• 주요 AI 프레임워크(TensorFlow Lite, SNPE, HiAI, NeuroPilot)가 다양한 모바일 SoC에서 얼마나 효과적인지 평가하기.
• 특히 이식성과 양자화에 관여하는 이동형 AI 배포 스택의 성능 저하 요인과 한계를 규명하기.
• 개발자가 이동형 AI 워크로드에 최적의 프레임워크와 하드웨어 타깃을 선택하는 데 도움이 되는 데이터 기반 권장 사항을 제공하기.
• 향후 이동형 AI 가속 분야의 발전을 추적하기 위한 반복 가능한 벤치마킹 프레임워크를 구축하기.

제안 방법

• AI Benchmark v1.0을 개발하고 배포하여, 10,000대 이상의 안드로이드 기기에서 100개 이상의 딥 뉴럴 네트워크 모델의 추론 속도를 측정하는 표준화된 성능 테스트 세트를 제공하였다.
• 퀄컴, 히실리콘, 마이크로티엔, 삼성의 4개 주요 업체에서 제공하는 50개 이상의 모바일 시스템온칩(SoC)에서 실세계 추론 성능 데이터를 수집하였다.
• 동일한 워크로드 하에서 텐서플로우 라이트, SNPE(퀄컴), 히아이, 뉴로파일럿(마이크로티엔) 등 다양한 AI 프레임워크를 평가하였다.
• 일반적인 컴퓨터 비전 및 NLP 작업을 중심으로 부동소수점 정밀도 및 양자화된 모델의 성능을 측정하였다.
• 모든 플랫폼 간 호환성과 성능를 비교하기 위해 안드로이드 신경망 API(이하 NNAPI)를 공통 추상화 계층으로 사용하였다.
• NPU, GPU, DSP 등의 하드웨어 가속기의 영향을 실제 워크로드에 초점을 맞춰 추론 속도와 에너지 효율성에 미치는 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 실세계 모델 기반으로 퀄컴, 히실리콘, 마이크로티엔, 삼성의 다양한 모바일 SoC가 딥 러닝 추론 성능에서 어떻게 비교되는가?
• RQ2 SNPE, 히아이 등 제조사 전용 SDK를 사용하는 것과 텐서플로우 라이트, NNAPI와 같은 표준 프레임워크를 사용하는 것 사이의 성능 및 이식성의 상충 관계는 어떠한가?
• RQ3 NPU, GPU, DSP 등의 하드웨어 가속이 스마트폰에서 일반적인 딥 러닝 모델의 추론 속도와 에너지 효율성에 얼마나 기여하는가?
• RQ4 이동형 배포에서 양자화된 신경망의 현재 한계는 무엇이며, 정확도와 성능에 어떤 영향을 미치는가?
• RQ5 안드로이드 NNAPI는 어떻게 다중 플랫폼 호환성을 실현하며, 다양한 기기 플랫폼에서 실질적인 성능에 어떤 영향을 미치는가?

주요 결과

• 평가 당시 화웨이의 히알린 970 SoC는 NPU를 탑재하고 있어 부동소수점 정밀도 모델에서 가장 빠른 추론 성능을 보였다.
• 제조사 전용 SDK(SNPE, 히아이, 뉴로파일럿 등)는 해당 플랫폼에서 일반 프레임워크(TensorFlow Lite 등)보다 뛰어난 성능을 보였지만, 이는 이식성의 손실을 수반했다.
• 텐서플로우 라이트는 일부 기기에서는 CPU 기반 구현과 유사한 성능를 보였지만, 복잡하거나 비표준 아키텍처에서는 어려움을 겪었다.
• NNAPI를 통한 하드웨어 가속은 기기 간 일관성이 없었으며, 일부 기기에서는 GPU가 이용 가능함에도 불구하고 이를 활용하지 않아 최적의 성능를 내지 못했다.
• 양자화된 모델은 여전히 신뢰할 수 있고 표준화된 도구의 부족으로 인해 제한을 받고 있으며, 정확도 저하 문제가 핵심 우려 사항이다.
• AI Benchmark 프레임워크는 10,000대 이상의 기기와 50개 이상의 SoC에서 데이터를 수집하여 이동형 AI를 위한 반복 가능한 실세계 성능 평가 방법론을 확립하였다.