[논문 리뷰] FANN-on-MCU: An Open-Source Toolkit for Energy-Efficient Neural Network Inference at the Edge of the Internet of Things

Xiaying Wang, Michele Magno외 2명|arXiv (Cornell University)|2019. 11. 08.

Advanced Memory and Neural Computing참고 문헌 43인용 수 9

한 줄 요약

FANN-on-MCU는 에너지 효율적인 신경망 추론을 초저전력 마이크로컨트롤러(MCU)에서 가능하게 하는 오픈소스 툴킷으로, ARM Cortex-M 및 RISC-V PULP 플랫폼을 대상으로 합니다. 이 툴킷은 훈련된 FANN 모델을 MCU용 최적화된 C 코드로 컴파일하여, 싱글코어 ARM Cortex-M4 대비 오토코어 RISC-V 플랫폼에서 최대 22배의 성능 향상과 69%의 에너지 절감을 달성합니다. 추론 지연 시간은 마이크로초 수준이며, 전력 소비는 1밀리와트 이하입니다.

ABSTRACT

The growing number of low-power smart devices in the Internet of Things is coupled with the concept of "Edge Computing", that is moving some of the intelligence, especially machine learning, towards the edge of the network. Enabling machine learning algorithms to run on resource-constrained hardware, typically on low-power smart devices, is challenging in terms of hardware (optimized and energy-efficient integrated circuits), algorithmic and firmware implementations. This paper presents FANN-on-MCU, an open-source toolkit built upon the Fast Artificial Neural Network (FANN) library to run lightweight and energy-efficient neural networks on microcontrollers based on both the ARM Cortex-M series and the novel RISC-V-based Parallel Ultra-Low-Power (PULP) platform. The toolkit takes multi-layer perceptrons trained with FANN and generates code targeted at execution on low-power microcontrollers either with a floating-point unit (i.e., ARM Cortex-M4F and M7F) or without (i.e., ARM Cortex M0-M3 or PULP-based processors). This paper also provides an architectural performance evaluation of neural networks on the most popular ARM Cortex-M family and the parallel RISC-V processor called Mr. Wolf. The evaluation includes experimental results for three different applications using a self-sustainable wearable multi-sensor bracelet. Experimental results show a measured latency in the order of only a few microseconds and a power consumption of few milliwatts while keeping the memory requirements below the limitations of the targeted microcontrollers. In particular, the parallel implementation on the octa-core RISC-V platform reaches a speedup of 22x and a 69% reduction in energy consumption with respect to a single-core implementation on Cortex-M4 for continuous real-time classification.

연구 동기 및 목표

• 자원 제약이 크고 배터리로 구동되는 IoT 기기의 계산 및 메모리 자원이 제한된 환경에서 에너지 효율적인 신경망을 구현하는 데 도전하는 것.
• ARM Cortex-M 및 RISC-V 기반 PULP 플랫폼을 포함한 저전력 마이크로컨트롤러에서 다층퍼셉트론의 효율적 추론을 가능하게 하는 것.
• 다중코어 초저전력 아키텍처에서 병렬 처리 성능 향상, 에너지 소비, 메모리 오버헤드 간의 상호 상충 관계를 분석하는 것.
• 훈련된 FANN 모델과 임베디드 MCU에서 효율적이고 실시간 추론을 가능하게 하는 실용적이고 오픈소스 소프트웨어 스택을 제공하는 것.
• 최적화된 펌웨어와 하드웨어 인식 컴파일을 통해 복잡한 신경망을 에지 기기에서 최소한의 에너지 소비와 지연 시간으로 실행할 수 있음을 입증하는 것.

제안 방법

• 툴킷은 FANN 라이브러리에서 훈련된 다층퍼셉트론 모델을 마이크로컨트롤러 환경에 최적화된 수동 최적화된 C 코드로 컴파일합니다.
• 32비트 ARM Cortex-M4 및 32비트 RISC-V RI5CY 코어를 모두 지원하며, 부동소수점 유닛이 있는지 여부에 관계없이 다양한 변종을 지원합니다.
• PULP 플랫폼에서 다중 코어 간 병렬 추론 전략을 구현하여 작업 분배 및 메모리 접근을 최소화하는 관리 기법을 적용합니다.
• 에너지 및 지연 시간을 최소화하기 위해 고정소수점 양자화, 루프 전개, 메모리 접근 감소 등의 최적화 기법을 적용합니다.
• 실제 하드웨어에서 종단 간 프로파일링을 통해 런타임 및 전력 측정을 수행하였으며, nRF52832 및 Mr. Wolf(PULP) 플랫폼을 포함합니다.
• 자체 수원을 갖춘 웨어러블 다중 센서 브로치를 활용해 세 가지 실제 응용 분야에서 에너지 효율성과 실시간 성능을 검증하였습니다.

실험 결과

연구 질문

• RQ1 메모리 및 처리 능력이 제한된 초저전력 마이크로컨트롤러에서 경량 신경망 프레임워크를 어떻게 효율적으로 컴파일하고 실행할 수 있는가?
• RQ2 신경망 추론에 대해 다중코어 RISC-V 플랫폼과 싱글코어 ARM Cortex-M4 간의 성능 및 에너지 소비 간 상호 상충 관계는 어떠한가?
• RQ3 FANN-on-MCU는 임베디드 MCU에서 모델 정확도를 유지하면서 추론 지연 시간과 에너지 소비를 얼마나 줄일 수 있는가?
• RQ4 병렬 처리 오버헤드와 메모리 전송은 다중코어 임베디드 시스템에서 성능 향상과 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 최소한의 전력 소비로 배터리로 구동되는 웨어러블 기기에서 실시간 연속 분류 작업을 지원할 수 있는가?

주요 결과

• 8코어 RISC-V PULP 플랫폼에서의 병렬 구현은 연속 실시간 분류 작업에서 싱글코어 ARM Cortex-M4 대비 최대 22배의 성능 향상과 69%의 에너지 소비 감소를 달성했습니다.
• nRF52832(ARM Cortex-M4)에서 추론은 17.6ms에 183.74µJ의 에너지를 소비하였고, 동일한 작업이 Mr. Wolf(8코어 RISC-V)에서 0.8ms에 49.43µJ로 수행되어 14배의 성능 향상과 73%의 에너지 절감을 기록했습니다.
• 작은 네트워크에 대해 RISC-V 다중코어 구현은 ARM Cortex-M4 기준 대비 13.33배의 성능 향상과 85.15%의 에너지 절감을 달성했습니다.
• 모든 평가 응용 분야에서 추론 지연 시간은 밀리초 이하(최저 0.004ms)이며, 전력 소비는 10mW 이하로 유지되었으며, 메모리 사용량은 MCU 제약 조건 내에 잘 맞아떨어졌습니다.
• PULP에서의 병렬 접근 방식은 단일 코어 대비 최대 7.1배의 성능 향상을 보였지만, 코어 수가 증가함에 따라 전력 소비가 증가함을 확인하여, 동적 코어 활성화 전략의 필요성을 강조했습니다.
• 이 툴킷은 최대 103,800개의 MAC 연산을 포함한 복잡한 신경망도 초저전력 MCU에서 최소한의 에너지 소비와 지연 시간으로 효율적으로 실행할 수 있음을 입증했습니다.