[논문 리뷰] A Machine Learning-oriented Survey on Tiny Machine Learning

Luigi Capogrosso, Federico Cunico외 3명|arXiv (Cornell University)|2023. 09. 21.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

이 종합 검토는 2018년에서 2023년까지의 틴리 머신 러닝(TinyML)에 대해 기계학습(ML) 중심의 분석을 제공하며, ML 중심, 하드웨어(HW) 중심, 공동 설계(co-design)의 세 가지 구현 워크플로우를 체계적으로 검토한다. 또한 모델 최적화 기법과 학습 알고리즘의 분류 체계를 제안한다. 공동 설계가 향후 가장 유망한 길로 지목되며, 벤치마킹, 메모리 제약, 데이터 품질, 표준 모델 및 공개 데이터셋의 부족이 핵심 해결되지 않은 과제로 지적된다.

ABSTRACT

The emergence of Tiny Machine Learning (TinyML) has positively revolutionized the field of Artificial Intelligence by promoting the joint design of resource-constrained IoT hardware devices and their learning-based software architectures. TinyML carries an essential role within the fourth and fifth industrial revolutions in helping societies, economies, and individuals employ effective AI-infused computing technologies (e.g., smart cities, automotive, and medical robotics). Given its multidisciplinary nature, the field of TinyML has been approached from many different angles: this comprehensive survey wishes to provide an up-to-date overview focused on all the learning algorithms within TinyML-based solutions. The survey is based on the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) methodological flow, allowing for a systematic and complete literature survey. In particular, firstly we will examine the three different workflows for implementing a TinyML-based system, i.e., ML-oriented, HW-oriented, and co-design. Secondly, we propose a taxonomy that covers the learning panorama under the TinyML lens, examining in detail the different families of model optimization and design, as well as the state-of-the-art learning techniques. Thirdly, this survey will present the distinct features of hardware devices and software tools that represent the current state-of-the-art for TinyML intelligent edge applications. Finally, we discuss the challenges and future directions.

연구 동기 및 목표

• 2018년에서 2023년까지의 틴리 머신 러닝(TinyML) 연구에 대해 체계적이고 기계학습(ML) 중심의 개요를 제공하여 분야의 다학제적 복잡성을 다루는 것.
• 세 가지 주요 구현 워크플로우인 ML 중심, 하드웨어(HW) 중심, 공동 설계(co-design)를 공식화하고 비교하는 것.
• 틴리 머신 러닝(TinyML)에 특화된 모델 최적화 및 학습 기법의 포괄적인 분류 체계를 제시하는 것.
• 틴리 머신 러닝(TinyML) 구현을 위한 현재의 하드웨어 플랫폼과 소프트웨어 도구를 평가하는 것.
• 벤치마킹, 메모리 제약, 데이터 품질, 표준 모델 및 공개 데이터셋의 부족과 같은 해결되지 않은 과제를 식별하는 것.

제안 방법

• 체계적인 문헌 검토를 위해 PRISMA 방법론을 활용하여 완전성과 재현 가능성을 확보한다.
• 기계학습(ML) 중심, 하드웨어(HW) 중심, 공동 설계(co-design)의 세 가지 별도의 설계 워크플로우 기반으로 틴리 머신 러닝 시스템을 분류하며, 협업 설계에 중점을 둔다.
• 학습 기법을 최적화 가족(예: 양자화, 지식 증류, 신경망 아키텍처 탐색 등)과 모델 설계 기반으로 분류하는 상세한 분류 체계를 제안한다.
• 최신 틴리 머신 러닝 프레임워크 및 도구를 평가하며, 임베디드 마이크로컨트롤러(MCU) 및 저전력 제약 조건과의 호환성을 분석한다.
• 성능, 메모리, 에너지 효율성 기반으로 하드웨어 플랫폼을 분석하며, 표 IV에서 비교 분석을 수행한다.
• 기존 문헌의 철저한 통합 분석을 통해 해결되지 않은 문제를 식별하며, 벤치마킹, 메모리, 데이터 품질, 모델 표준화에 초점을 맞춘다.

Figure 1: A glance at the latest hardware developed for TinyML reveals a notable trend: recent advances are focused on the goal of minimizing power consumption. This means that the main focus right now is making sure that ML can run on devices with limited resources.

실험 결과

연구 질문

• RQ1 틴리 머신 러닝(TinyML) 시스템을 구현하기 위한 세 가지 주요 설계 워크플로우는 무엇이며, 실무적 구현과 성능에서 어떻게 다릅니까?
• RQ2 자원 제약이 있는 엣지 디바이스에 적합한 틴리 머신 러닝(TinyML)의 모델 최적화 및 학습 기법 중 가장 효과적인 것은 무엇입니까?
• RQ3 현재의 하드웨어 플랫폼(MCU, FPGA, TPU)은 틴리 머신 러닝 응용 분야에서 에너지 효율성, 메모리 사용량, 추론 속도 측면에서 어떻게 비교될 수 있습니까?
• RQ4 실제 응용 환경에서 틴리 머신 러닝(TinyML) 시스템의 발전과 구현을 저해하는 주요 해결되지 않은 과제는 무엇입니까?
• RQ5 왜 틴리 머신 러닝 생태계에는 표준 벤치마킹, 공개 데이터셋, 널리 인정된 모델이 부족한가요?

주요 결과

• 기계학습(ML) 및 하드웨어(HW) 엔지니어가 초기 단계부터 협업하는 공동 설계 워크플로우가 향후 틴리 머신 러닝(TinyML) 발전에 가장 유망한 길로 나타났다.
• growing 관심에도 불구하고 마이크로컨트롤러(MCU)에서 틴리 머신 러닝(TinyML)을 위한 널리 인정된 기준 모델이 존재하지 않으며, 이는 모바일 엣지 AI에서의 MobileNet과는 다릅니다.
• 학습, 추론, 시스템 수준 성능에 대한 표준화된 벤치마킹이 부족하여 공정한 비교 및 발전을 저해하는 주요 장벽으로 남아 있다.
• 특히 딥 러닝 모델의 경우 제한된 SRAM 및 플래시 메모리로 인한 메모리 제약이 여전히 핵심 과제로 남아 있다.
• 데이터 품질은 핵심적이지만 자주 간과되는 요소이며, 실제 데이터 부족과 열악한 품질은 모델 평가 및 구현을 잘못 이끌 수 있다.
• 딥 러닝이 틴리 머신 러닝(TinyML) 응용 분야를 지배하고 있지만, TEDA와 같은 비딥 러닝 방법은 특정 니치 외에는 거의 사용되지 않아 보급 수준이 낮다.

Figure 2: The number of papers on TinyML published so far, and the surveys on the topic. As evident, there is an exponential growth in the number of research papers, and it’s worth noting that our survey not only stands as the most recent but also uniquely concentrates on the ML perspective, disting