[논문 리뷰] TinyML: Analysis of Xtensa LX6 microprocessor for Neural Network Applications by ESP32 SoC

Md Ziaul Haque Zim|arXiv (Cornell University)|2021. 06. 20.

CCD and CMOS Imaging Sensors참고 문헌 31인용 수 13

한 줄 요약

이 논문은 작은 머신러닝 응용 프로그램을 위한 엣지 AI에 적합한 저전력 임베디드 시스템으로서의 ESP32 및 ESP32-CAM 장치 내부의 Xtensa LX6 마이크로프로세서의 추론 속도를 평가한다. 피드포워드 신경망을 대상으로 하며, 입력 크기가 9에서 576까지 다양하게 설정되고, 은닉층이 하나 또는 두 개인 경우를 고려한다. 연구 결과, 이중 코어 32비트 LX6 프로세서는 소형 및 중형 모델에 대해 실시간 추론을 달성함으로써, 자원이 제한된 임베디드 시스템에서 엣지 AI를 위한 실현 가능성을 입증한다.

ABSTRACT

In recent decades, Machine Learning (ML) has become extremely important for many computing applications. The pervasiveness of ultra-low-power embedded devices such as ESP32 or ESP32 Cam with tiny Machine Learning (tinyML) applications will enable the mass proliferation of Artificial Intelligent powered Embedded IoT Devices. In the last few years, the microcontroller device (Espressif ESP32) became powerful enough to be used for small/tiny machine learning (tinyML) tasks. The ease of use of platforms like Arduino IDE, MicroPython and TensorFlow Lite (TF) with tinyML application make it an indispensable topic of research for mobile robotics, modern computer science and electrical engineering. The goal of this paper is to analyze the speed of the Xtensa dual core 32-bit LX6 microprocessor by running a neural network application. The different number of inputs (9, 36, 144 and 576) inputted through the different number of neurons in neural networks with one and two hidden layers. Xtensa LX6 microprocessor has been analyzed because it comes inside with Espressif ESP32 and ESP32 Cam which are very easy to use, plug and play IoT device. In this paper speed of the Xtensa LX6 microprocessor in feed-forward mode has been analyzed.

연구 동기 및 목표

• ESP32 및 ESP32-CAM 플랫폼 내부의 Xtensa LX6 마이크로프로세서에 신경망을 구현하는 것이 tinyML 워크로드에 대해 실현 가능한지 평가하기 위해.
• 다양한 입력 차원과 은닉층 수를 고려한 신경망 구성에서 LX6 프로세서의 추론 속도를 평가하기 위해.
• 자원이 제한된 임베디드 시스템에서 실시간 추론의 실질적 한계를 규명하기 위해.
• 저전력 IoT 장치에서 엣지 AI 응용 프로그램을 목표로 하는 연구자 및 개발자들에게 실험적 성능 데이터를 제공하기 위해.

제안 방법

• TensorFlow Lite for Microcontrollers(TFLite Micro)를 사용하여 ESP32에 하나 또는 두 개의 은닉층을 가진 피드포워드 신경망을 구현하였다.
• LX6 프로세서에서의 확장성과 성능 영향을 평가하기 위해 입력 크기를 체계적으로 변화시켰다(9, 36, 144, 576 뉴런).
• 실행 지연을 밀리초 단위로 측정하기 위해 ESP32의 내장 타이머 기능을 사용하여 추론 시간을 측정하였다.
• 실제 하드웨어에 모델을 배포하고 벤치마크를 수행하기 위해 Arduino IDE와 MicroPython 환경을 사용하였다.
• ESP32 및 ESP32-CAM와 같은 널리 사용되는 IoT 장치에 통합된 점을 고려해, 대상 플랫폼으로 이중 코어 32비트 프로세서인 Xtensa LX6를 선택하였다.
• 처리 효율성과 실시간 기능을 평가하기 위해 다양한 네트워크 아키텍처에서의 벤치마크를 수행하였다.

실험 결과

연구 질문

• RQ1 ESP32 플랫폼에서 작은 신경망을 실행할 경우 Xtensa LX6 마이크로프로세서의 추론 지연 시간은 얼마인가?
• RQ2 LX6 프로세서에서 다양한 신경망 아키텍처에서 입력 크기가 추론 속도에 미치는 영향은 어떠한가?
• RQ3 LX6 마이크로프로세서를 탑재한 ESP32는 tinyML 응용 프로그램에서 실시간 추론을 달성할 수 있는가?
• RQ4 입력 차원과 모델 복잡도 측면에서, 하나 또는 두 개의 은닉층을 가진 신경망에 대해 LX6 프로세서의 성능 한계는 무엇인가?

주요 결과

• Xtensa LX6 마이크로프로세서는 최대 576개의 입력을 가진 신경망에 대해 100ms 이내의 추론 시간을 달성하여, 소형 및 중형 모델에 대해 실시간 성능을 보여주었다.
• 추론 지연 시간은 입력 크기와 함께 선형적으로 증가하지만, 엣지 AI 응용 프로그램에서 허용 가능한 수준을 유지한다.
• LX6의 이중 코어 32비트 아키텍처는 파라미터 수가 1000개 미만인 모델에 대해 효율적인 신경망 추론 실행을 가능하게 한다.
• LX6로 구동되는 ESP32 플랫폼은 TensorFlow Lite Micro와 같은 고수준 프레임워크를 활용하여 tinyML 모델의 실질적 배포를 지원한다.
• 본 연구는 저전력 소비와 추론 작업에 대한 충분한 처리 능력을 갖춘 점을 고려해, ESP32가 엣지 AI 워크로드에 실현 가능한 플랫폼임을 확인한다.