[논문 리뷰] Edge Impulse: An MLOps Platform for Tiny Machine Learning

Shawn Hymel, Colby Banbury외 14명|arXiv (Cornell University)|2022. 11. 02.

Advanced Neural Network Applications인용 수 86

한 줄 요약

Edge Impulse는 TinyML용 클라우드 기반 MLOps 플랫폼으로 데이터 수집, DSP 통합, 교차 하드웨어 최적화, AutoML, 그리고 다양한 임베디드 대상에의 배포를 해결하는 확장 가능하고 확장성 있는 아키텍처를 제공합니다.

ABSTRACT

Edge Impulse is a cloud-based machine learning operations (MLOps) platform for developing embedded and edge ML (TinyML) systems that can be deployed to a wide range of hardware targets. Current TinyML workflows are plagued by fragmented software stacks and heterogeneous deployment hardware, making ML model optimizations difficult and unportable. We present Edge Impulse, a practical MLOps platform for developing TinyML systems at scale. Edge Impulse addresses these challenges and streamlines the TinyML design cycle by supporting various software and hardware optimizations to create an extensible and portable software stack for a multitude of embedded systems. As of Oct. 2022, Edge Impulse hosts 118,185 projects from 50,953 developers.

연구 동기 및 목표

• 임베디드 TinyML 워크플로우의 데이터 수집, DSP, 개발, 배포, 모니터링에서의 도전을 식별한다.
• TinyML 개발 및 배포를 간소화하기 위한 엔드투엔드 플랫폼(Edge Impulse)을 제안하고 설명한다.
• 이기종 임베디드 하드웨어에 대해 데이터 중심의 확장 가능하고 교차 스택 최적화를 지원하는 아키텍처를 보여준다.
• 여러 장치와 모델에 걸친 플랫폼의 성능, 이동성, 확장성을 평가한다.

제안 방법

• 플랫폼에 통합된 데이터 수집 및 DSP 전처리를 설명한다.
• RAM/ROM 사용 감소를 위한 확장 가능한 추론 라이브러리와 EON Compiler를 제시한다.
• 하드웨어 제약하에서 DSP 및 NN 구성을 최적화하기 위한 AutoML(EON Tuner)을 개요로 설명한다.
• 코드 생성, SDKs, 크로스 플랫폼 컴파일 등을 포함한 배포 워크플로를 설명한다.
• 다수의 디바이스와 태스크 벤치마크(KWS, VWW, IC)에서의 성능 평가를 시연한다.

실험 결과

연구 질문

• RQ1 MLOps 플랫폼이 TinyML에서 데이터 수집, 전처리, 배포의 단편화를 어떻게 해결할 수 있는가?
• RQ2 어떤 메커니즘(AutoML, DSP 튜닝, 교차 아키텍처 최적화)이 이기종 하드웨어에서 휴대 가능하고 효율적인 TinyML 모델을 가능하게 하는가?
• RQ3 임베디드 태스크에서 DSP와 NN 동시 설계(Co-design)가 대기 시간(latency)과 메모리에 미치는 영향은 무엇인가?
• RQ4 현실 세계의 산업, 학계 및 연구 배치에서 Edge Impulse 접근 방식의 효과는 어떤가?
• RQ5 다수의 임베디드 플랫폼에 걸친 Edge Impulse의 자원 및 확장성 프로파일은 무엇인가?

주요 결과

• 이 플랫폼은 데이터 수집, DSP, 모델 학습, 평가, 그리고 다양한 하드웨어에 걸친 배포를 포함하는 엔드투엔드 TinyML 워크플로우를 지원한다.
• AutoML(EON Tuner)은 대상 하드웨어 제약을 고려하여 DSP 및 NN 구성의 탐색을 가능하게 하며, 빠른 설계 공간 탐색을 돕는다.
• EON Compiler는 TFLM 인터프리터를 우회하는 C++ 수준의 코드를 생성하여 RAM/ROM 사용을 줄이고 효율을 향상시킨다.
• Nano 33 BLE Sense, ESP-EYE, Raspberry Pi Pico에 대한 실증 평가에서 float32 및 int8 규칙 하에 KWS, VWW, IC 태스크의 대기시간 및 자원 사용이 다양하게 나타난다.
• DSP 전처리는 특정 태스크(예: 키워드 스포팅)에서 전체 대기시간을 지배하는 경우가 많아 DSP와 NN 구성 요소 간의 공동 설계의 중요성을 강조한다.
• 플랫폼은 확장성, Kubernetes 기반의 확장 가능한 인프라, 그리고 기존 ML 파이프라인과의 통합을 위한 REST API를 강조한다.