[논문 리뷰] Measuring what Really Matters: Optimizing Neural Networks for TinyML

Lennart Heim, Andreas Biri외 2명|arXiv (Cornell University)|2021. 04. 21.

Advanced Numerical Analysis Techniques인용 수 26

한 줄 요약

본 논문은 MCUs에서의 지각 가능한 지표(지연 시간, 에너지)가 MACC/ FLOPs와 같은 대리 지표로는 신뢰성 있게 예측되지 않으며, TinyML 애플리케이션용으로 ARM Cortex‑M 장치에서 직접 NN을 벤치마크하고 최적화하기 위한 구현 인식 도구체인을 도입한다.

ABSTRACT

With the surge of inexpensive computational and memory resources, neural networks (NNs) have experienced an unprecedented growth in architectural and computational complexity. Introducing NNs to resource-constrained devices enables cost-efficient deployments, widespread availability, and the preservation of sensitive data. This work addresses the challenges of bringing Machine Learning to MCUs, where we focus on the ubiquitous ARM Cortex-M architecture. The detailed effects and trade-offs that optimization methods, software frameworks, and MCU hardware architecture have on key performance metrics such as inference latency and energy consumption have not been previously studied in depth for state-of-the-art frameworks such as TensorFlow Lite Micro. We find that empirical investigations which measure the perceptible metrics - performance as experienced by the user - are indispensable, as the impact of specialized instructions and layer types can be subtle. To this end, we propose an implementation-aware design as a cost-effective method for verification and benchmarking. Employing our developed toolchain, we demonstrate how existing NN deployments on resource-constrained devices can be improved by systematically optimizing NNs to their targeted application scenario.

연구 동기 및 목표

• 메모리 및 에너지 제약이 있는 마이크로컨트롤러에서 엣지-가능한 신경망의 필요성을 제기한다.
• 최적화 방법, 소프트웨어 프레임워크, MCU 하드웨어 아키텍처가 지연 시간과 에너지와 같은 지각 가능한 지표에 어떤 영향을 미치는지 조사한다.
• MCU에서 계층 단위로 신경망을 측정하고 최적화하기 위한 완전한 하드웨어/소프트웨어 도구 체인을 개발한다.
• 지각 가능한 지표와 아키텍처 특징을 상관시켜 하드웨어 인식 TinyML 구현을 위한 설계 지침을 제공한다.

제안 방법

• MCU에 NN을 배포하여 계층 단위 지연 시간과 에너지를 측정하는 구현 인식 벤치마킹 도구 체인을 개발한다.
• ARM Cortex-M MCUs에서 지각 가능한 지표와 최적화 기법(양자화, CMSIS-NN) 간의 관계를 정량화한다.
• 호스트(on-host) (TensorFlow/TFLite)와 장치 내(on-device) 실행을 비교하여 정확도 손실과 메모리 점유를 평가한다.
• latency per operation delta = t_m / c_e를 사용하여 아키텍처와 하이퍼파라미터 간 계층 효율성을 비교한다.
• 계층 유형, 커널 매개변수 및 하드웨어 기능이 처리량과 에너지 소비에 미치는 영향을 분석한다.
• 지각 가능한 지표 제약 내에서 하드웨어 인식 NN 설계가 정확도를 향상시킬 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 Cortex-M MCUs에서 일반 대리 지표(예: 연산 수)가 실제 온-디바이스 지연 시간 및 에너지와 얼마나 잘 상관관계가 있는가?
• RQ2 8비트 양자화와 CMSIS-NN이 서로 다른 네트워크 구조에서 추론 지연 시간과 에너지에 미치는 영향은 무엇인가?
• RQ3 계층 유형과 하이퍼파라미터가 MCU 하드웨어 특징과 어떠한 상호 작용을 하여 지각 가능한 지표에 영향을 주는가?
• RQ4 구현 인식 도구 체인이 TinyML 배치를 위한 NAS 및 NN 설계를 신뢰할 수 있게 안내할 수 있는가?
• RQ5 주어진 네트워크에 대해 지연 시간과 에너지 사이의 Pareto 효율적 트레이드오프를 제공하는 하드웨어 대상(MCU 모델)은 무엇인가?

주요 결과

• 양자화는 메모리 사용량을 최대 73%까지 감소시키고 일부 케이스에서 정확도 손실은 0.05%에 불과하다.
• 8비트 양자화를 통한 On-device CMSIS-NN 가속은 FPU가 활성화된 부동 소수 모델보다 레이어에 따라 최대 약 4배의 속도 향상을 낼 수 있다.
• 최적화는 계층과 아키텍처에 따라 불균일한 가속을 낳으며, 더 큰 네트워크(예: ResNet)는 29x–35x의 속도향상을, 더 작은 네트워크는 12.9x–16x의 속도향상을 보인다.
• 연산당 지연 시간은 계층 유형에 따라 다르며 총 연산 수로는 신뢰성 있게 예측되지 않는다; Dense 및 Convolution 계층은 하드웨어 인식 최적화로 상당한 이점을 보이는 반면 Depthwise Convolution은 이점이 더 작다.
• 지연 시간과 에너지 소비는 최적화와 MCU 간에 거의 완벽에 가까운 선형 상관(r ≈ 0.995)을 보이나, 최적의 하드웨어 선택은 주어진 배포의 Pareto 트레이드오프에 따라 달라진다.
• MCU 선택은 Pareto-효율적일 수 있으며(예: F4), 대리 지표만으로는 충분치 않다; 실험적 하드웨어 인식 테스트가 필수적이다.