[논문 리뷰] Intelligence at the Extreme Edge: A Survey on Reformable TinyML

Visal Rajapakse, Ishan Karunanayake외 1명|arXiv (Cornell University)|2022. 04. 02.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 배포 후 모델 업데이트를 지원하는 재구성 가능한 TinyML—작은 기계학습 시스템에 대한 종합적인 설문 조사이다. 자가 개선 기반의 TinyML 솔루션을 분류하기 위한 새로운 분류 체계를 제안하며, 배포 워크플로우, 도구, 벤치마킹 격차 및 향후 방향성에 대해 분석한다. 에너지 효율성, 탈중앙화 및 페더레이티드 러닝과 서버리스 컴퓨팅과 같은 신규 기술과의 통합을 강조하여 극한 엣지에서 자율적이고 현장 기반의 지능을 실현한다.

ABSTRACT

Tiny Machine Learning (TinyML) is an upsurging research field that proposes to democratize the use of Machine Learning and Deep Learning on highly energy-efficient frugal Microcontroller Units. Considering the general assumption that TinyML can only run inference, growing interest in the domain has led to work that makes them reformable, i.e., solutions that permit models to improve once deployed. This work presents a survey on reformable TinyML solutions with the proposal of a novel taxonomy. Here, the suitability of each hierarchical layer for reformability is discussed. Furthermore, we explore the workflow of TinyML and analyze the identified deployment schemes, available tools and the scarcely available benchmarking tools. Finally, we discuss how reformable TinyML can impact a few selected industrial areas and discuss the challenges and future directions.

연구 동기 및 목표

• 기존의 TinyML 시스템이 추론만 지원하고 런타임 모델 업데이트를 허용하지 않는 한계를 해결하기 위해.
• 자기 개선 메커니즘을 기반으로 재구성 가능한 TinyML 솔루션을 분류하기 위한 새로운 분류 체계를 제안하기 위해.
• TinyML 스택의 각 레이어가 재구성 가능성에 얼마나 적합한지 분석하기 위해.
• 기존 도구, 배포 방식 및 분야 내 벤치마킹 프레임워크의 부족함을 조사하기 위해.
• 재구성 가능한 TinyML가 산업 응용에 미치는 영향을 탐색하고 핵심 과제 및 향후 연구 방향을 식별하기 위해.

제안 방법

• 모델 개선에 사용되는 기술(예: 오버더어어리(OTA) 업데이트, 페더레이티드 러닝, 온라인 학습 등)에 기반해 재구성 가능한 TinyML 솔루션을 분류하기 위한 계층적 분류 체계를 제안한다.
• 자원이 풍부한 장치에서의 모델 훈련부터 메모리와 처리 능력이 제한된 마이크로컨트롤러 유닛(MCU)에의 배포에 이르기까지 전체 TinyML 워크플로우를 분석한다.
• 데이터, 모델, 추론 및 업데이트 레이어 등 각 시스템 레이어가 런타임 모델 업데이트를 지원하는 데 얼마나 적합한지 평가한다.
• TensorFlow Lite Micro(TFLM)를 포함한 기존 TinyML 개발 도구 및 프레임워크를 검토하고, 벤치마킹 및 평가 도구의 격차를 식별한다.
• 블록체인을 통한 탈중앙화된 모델 업데이트, 동적 자원 할당을 위한 서버리스 컴퓨팅, 모델 투명성을 위한 설명 가능한 인공지능(XAI) 등 차세대 기술과의 통합을 탐색한다.
• 딥 강화 학습 및 지식 증류와 같은 고급 머신러닝 기법이 자율적이고 적응형 TinyML 시스템을 가능하게 하는 방식을 분석한다.

실험 결과

연구 질문

• RQ1 자원이 제한된 TinyML 시스템에서 모델 업데이트를 가능하게 하는 데 있어 핵심적인 기술적 및 아키텍처적 장벽은 무엇인가?
• RQ2 페더레이티드 러닝, 오버더어어리(OTA) 업데이트, 온라인 학습 등의 기술이 재구성 가능한 TinyML를 실현하기 위해 어떻게 효과적으로 적용될 수 있는가?
• RQ3 TinyML 스택의 어느 레이어가 재구성 가능성에 가장 적합한가? 이와 관련된 상충 관계는 무엇인가?
• RQ4 서버리스 컴퓨팅과 블록체인과 같은 신규 패러다임이 재구성 가능한 TinyML 시스템의 확장성과 보안성을 어떻게 향상시킬 수 있는가?
• RQ5 재구성 가능한 TinyML의 가장 유망한 산업 응용 분야는 무엇이며, 자율성, 에너지 효율성 및 실시간 성능 측면에서 어떤 이점을 제공하는가?

주요 결과

• 재구성 가능한 TinyML는 클라우드 재훈련에 의존하지 않고도 현장에서 모델을 업데이트할 수 있어, 동적 환경에 적응할 수 있도록 한다.
• 모델 개선 기제(예: OTA 업데이트, 페더레이티드 러닝, 온라인 학습 등)에 따라 재구성 가능한 TinyML 솔루션을 체계적으로 분류하기 위한 새로운 분류 체계가 제안된다.
• growing 관심에도 불구하고, TinyML를 위한 벤치마킹 도구는 여전히 부족하여 솔루션 간의 재현 가능성과 공정한 비교를 제한하고 있다.
• TinyML와 서버리스 컴퓨팅을 통합하면 필요할 때만 컴퓨팅 자원을 할당함으로써 자원 사용을 최적화할 수 있으며, 이는 TinyML의 에너지 효율성 목표와 부합한다.
• 블록체인과 가비지 러닝과 같은 탈중앙화된 접근 방식은 네트워크 의존성 또는 악성 환경에서 모델 업데이트 파이프라인의 보안성과 내구성을 향상시킬 수 있다.
• 딥 강화 학습 및 지식 증류와 같은 고급 머신러닝 기법은 경험에서 학습할 수 있는 자율적이고 적응형 TinyML 시스템을 가능하게 한다는 점에서 잠재력을 보인다.