[논문 리뷰] TinyOL: TinyML with Online-Learning on Microcontrollers

Haoyu Ren, Darko Anicic외 1명|arXiv (Cornell University)|2021. 03. 15.

Data Stream Mining Techniques참고 문헌 19인용 수 4

한 줄 요약

TinyOL은 마이크로컨트롤러(MCU)에서 실시간 모델 적응을 가능하게 하는 새로운 프레임워크를 제안한다. 온라인 학습을 사용하여 미리 훈련된 신경망에 경량의 온라인 학습 레이어를 부착함으로써, MCU가 다시 훈련하지 않고도 스트리밍 데이터로부터 가중치를 점진적으로 업데이트할 수 있다. 이는 자원 소모가 최소한이면서도 이상 탐지 및 분류 작업에서 향상된 성능을 보여준다.

ABSTRACT

Tiny machine learning (TinyML) is a fast-growing research area committed to democratizing deep learning for all-pervasive microcontrollers (MCUs). Challenged by the constraints on power, memory, and computation, TinyML has achieved significant advancement in the last few years. However, the current TinyML solutions are based on batch/offline settings and support only the neural network's inference on MCUs. The neural network is first trained using a large amount of pre-collected data on a powerful machine and then flashed to MCUs. This results in a static model, hard to adapt to new data, and impossible to adjust for different scenarios, which impedes the flexibility of the Internet of Things (IoT). To address these problems, we propose a novel system called TinyOL (TinyML with Online-Learning), which enables incremental on-device training on streaming data. TinyOL is based on the concept of online learning and is suitable for constrained IoT devices. We experiment TinyOL under supervised and unsupervised setups using an autoencoder neural network. Finally, we report the performance of the proposed solution and show its effectiveness and feasibility.

연구 동기 및 목표

• 동적 환경에 적응할 수 있도록 정적 배치 훈련 모델의 한계를 해결하기 위해 현장에서의 모델 적응을 가능하게 한다.
• 원격 장치 업데이트, 개념 이탈, 데이터 전송 비용 등의 IoT 구현 과제를 극복한다.
• 완전한 재훈련이나 외부 클라우드 지원 없이도 베어메탈 MCU에서 점진적 학습을 가능하게 한다.
• 저전력 하드웨어에서 오토에인코더를 사용하여 현장에서의 훈련 후 조정 및 동적 레이어 구조 적응의 가능성을 입증한다.
• 스트리밍 현장 데이터를 활용해 시간이 지남에 따라 모델 정확도를 향상시키는 유연하고 경량의 시스템을 제공한다.

제안 방법

• MCU에서 실행 중인 기존 신경망에 경량 온라인 학습 레이어를 통합하여 스트리밍 방식의 점진적 방식으로 작동한다.
• 입력 데이터 샘플 하나당 한 번의 업데이트를 수행하는 확률적 경사 하강법(SGD)을 사용하며, 업데이트 후 데이터는 폐기한다.
• 모든 사전 훈련된 신경망에 추가 레이어로 부착할 수 있는 모듈식 C++ 라이브러리를 구현한다.
• 새로운 클래스가 도입될 경우 출력 레이어의 구조를 동적으로 재구성하여 실시간 적응을 가능하게 한다.
• 비지도 특징 학습과 분류 작업의 입력으로 복구 오차를 사용하기 위해 오토에인코더를 활용한다.
• 성능 평가에 F1 점수 및 매크로 F1 점수 지표를 사용하여 온라인 및 오프라인 훈련 환경 모두에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자원이 제한된 마이크로컨트롤러에서 TinyML 응용을 위한 점진적 온라인 학습이 효과적으로 구현될 수 있는가?
• RQ2 제한된 계산 및 메모리 자원 조건에서 온라인 학습의 성능가 오프라인 훈련에 비해 어떻게 비교되는가?
• RQ3 새로운 데이터 패턴이 나타날 때 현장에서의 모델 적응이 시간이 지남에 따라 모델 정확도를 향상시킬 수 있는가?
• RQ4 시스템이 새로운 데이터에 대응해 아키텍처를 얼마나 동적으로 조정할 수 있는가(예: 출력 클래스 수의 변경)?
• RQ5 클라우드 기반 재훈련에 의존하지 않고도 MCU에서 직접 훈련 후 조정 및 모델 재구성 작업을 수행하는 것이 가능한가?

주요 결과

• TinyOL은 스트리밍 데이터를 사용하여 MCU에서 점진적 현장 훈련을 가능하게 하여, 다시 훈련하지 않고도 새로운 데이터 패턴에 적응할 수 있다.
• 온라인 학습 모델은 자원이 제한된 조건에서 오프라인 훈련과 경쟁 가능한 성능를 보였다.
• 더 많은 스트리밍 데이터가 입력될수록 F1 점수가 향상되었으며, 매크로 F1 점수는 각 학습 반복마다 안정적으로 증가했다.
• 시스템은 비지도 오토에인코더가 정상, 멈춘, 기울어진 팬 모드를 분류할 수 있는 능력을 획득하도록 성공적으로 지원했다.
• 에코더의 동결된 가중치가 비정상 클래스에서 성능을 제한했으며, 전체 가중치 미세조정을 통해 성능 향상을 더욱 이룰 수 있음을 시사한다.
• TinyOL은 64MHz의 Cortex-M4 CPU와 256KB RAM을 갖춘 Arduino Nano 33 BLE Sense 보드에서 실제 환경에서의 구현 가능성과 효과성을 입증했다.