[논문 리뷰] MCUNet: Tiny Deep Learning on IoT Devices

Ji Lin, Wei-Ming Chen외 4명|arXiv (Cornell University)|2020. 07. 20.

Advanced Neural Network Applications참고 문헌 51인용 수 255

한 줄 요약

MCUNet은 TinyNAS와 TinyEngine을 공동 설계하여 오프 더 셸프(microcontroller)에서 ImageNet 규모의 딥러닝이 가능하도록 하며, 70.7%의 top-1과 좁은 메모리 예산 내에서 빠른 wake-word 성능을 달성한다.

ABSTRACT

Machine learning on tiny IoT devices based on microcontroller units (MCU) is appealing but challenging: the memory of microcontrollers is 2-3 orders of magnitude smaller even than mobile phones. We propose MCUNet, a framework that jointly designs the efficient neural architecture (TinyNAS) and the lightweight inference engine (TinyEngine), enabling ImageNet-scale inference on microcontrollers. TinyNAS adopts a two-stage neural architecture search approach that first optimizes the search space to fit the resource constraints, then specializes the network architecture in the optimized search space. TinyNAS can automatically handle diverse constraints (i.e.device, latency, energy, memory) under low search costs.TinyNAS is co-designed with TinyEngine, a memory-efficient inference library to expand the search space and fit a larger model. TinyEngine adapts the memory scheduling according to the overall network topology rather than layer-wise optimization, reducing the memory usage by 4.8x, and accelerating the inference by 1.7-3.3x compared to TF-Lite Micro and CMSIS-NN. MCUNet is the first to achieves >70% ImageNet top1 accuracy on an off-the-shelf commercial microcontroller, using 3.5x less SRAM and 5.7x less Flash compared to quantized MobileNetV2 and ResNet-18. On visual&audio wake words tasks, MCUNet achieves state-of-the-art accuracy and runs 2.4-3.4x faster than MobileNetV2 and ProxylessNAS-based solutions with 3.7-4.1x smaller peak SRAM. Our study suggests that the era of always-on tiny machine learning on IoT devices has arrived. Code and models can be found here: https://tinyml.mit.edu.

연구 동기 및 목표

• 극도로 제한된 SRAM/Flash를 가진 마이크로컨트롤러에서 ImageNet 규모의 딥러닝을 고무하고 가능하게 한다.
• 피크 메모리를 최소화하고 정확도를 극대화하기 위해 신경망 아키텍처 검색과 추론 스케줄링을 결합한 시스템-알고리즘 공동 설계 프레임워크를 개발한다.
• 다양한 초소형 하드웨어 제약에 맞게 탐색 공간 최적화를 자동화한다.
• 작은 기기에 적합한 모델 공간을 확장하는 메모리 효율적인 추론 라이브러리를 제공한다.

제안 방법

• TinyNAS는 두 단계의 NAS를 수행한다: 108개의 탐색 공간 구성에서 만족하는 네트워크의 FLOPs 분포를 분석하여 자동 탐색 공간 최적화를 한 뒤, 선택된 공간에서 가중치 공유와 진화 탐색을 포함하는 원샷 NAS를 수행한다.
• TinyEngine은 런타임 오버헤드를 제거하기 위한 코드 생성, 모델에 적합한 메모리 스케줄링, 커널 특화, 인-플레이스 depth-wise 컨볼루션을 사용하여 피크 메모리를 줄이고 처리량을 높인다.
• 이 프레임워크는 MCU 메모리 예산 하에서 실행 가능한 모델 용량을 확장하기 위해 TinyNAS와 TinyEngine의 공동 설계를 제시한다.
• 모델 배치를 위해 int8 양자화를 사용하고, 메모리 한계 아래에서 더 큰 모델을 맞추기 위해 4-bit 양자화를 탐색한다.
• ImageNet, Visual Wake Words, 그리고 Speech Commands에 대해 여러 MCUs에서 평가를 수행한다(예: STM32F746, F412, H743).

실험 결과

연구 질문

• RQ1 메모리 제약이 있는 MCU에서 신경망 아키텍처와 추론 런타임의 시스템 수준 공동 설계가 ImageNet 규모의 모델을 가능하게 할 수 있는가?
• RQ2 아키텍처 검색과 메모리 인식 추론 엔진의 공동 설계로 얼마나 많은 메모리와 지연을 절약할 수 있는가?
• RQ3 탐색 공간 최적화와 메모리 스케줄링이 엄격한 SRAM/Flash 예산하에서 최종 정확도에 미치는 영향은 무엇인가?
• RQ4 int8(및 더 낮은 비트) 양자화가 MCU 경계 모델에서 경쟁력 있는 정확도를 달성하기에 충분한가?
• RQ5 wake-word 및 객체 탐지 작업에서 MCUNet이 기존 TinyML 벤치마크와 비교하여 어떤 성능을 보이는가?

주요 결과

• MCUNet은 시판되는 마이크로컨트롤러에서 ImageNet 상위 1% 정확도 70.7%를 달성한다.
• TinyEngine은 피크 메모리를 3.4배 감소시키고 추론을 1.7–3.3배 가속한다(TF-Lite Micro 및 CMSIS-NN 대비).
• TinyEngine과 TinyNAS를 사용하면 MobileNetV2 및 ProxylessNAS 벤치마크가 엄격한 메모리에서 61.8% 상위-1 정확도로 향상되며, 라이브러리 단독일 때는 47.4–56.4%이다.
• MCUNet은 wake-word 데이터셋(VWW 및 Speech Commands)에서 벤치마크에 비해 피크 SRAM이 3.7–4.1× 작아지면서 wake-word 작업을 2.4–3.4× 더 빠르게 수행한다.
• 512kB SRAM 조건에서 Pascal VOC의 객체 탐지에서 MCUNet의 mAP는 51.4%로, 메모리 제약 하의 MobileNetV2+CMSIS-NN의 31.6%보다 높다.
• MCUNet은 8비트로 비교했을 때 ResNet-18/MobileNetV2 등가체에 비해 SRAM은 약 3.5×, Flash는 약 5.7× 감소하면서 더 높은 ImageNet 정확도를 달성한다.