[논문 리뷰] Hello Edge: Keyword Spotting on Microcontrollers

Yundong Zhang, Naveen Suda외 2명|arXiv (Cornell University)|2017. 11. 20.

Speech and Audio Processing참고 문헌 25인용 수 340

한 줄 요약

본 논문은 마이크로컨트롤러에서 키워드 스팟팅을 위한 여러 신경망 아키텍처를 평가하고, 깊이별 분리 합성곱 신경망(DS-CNN)이 MCU 제약 내에서 최상의 정확도를 제공하며 8비트 양자화를 통한 배포를 효과적으로 시연한다.

ABSTRACT

Keyword spotting (KWS) is a critical component for enabling speech based user interactions on smart devices. It requires real-time response and high accuracy for good user experience. Recently, neural networks have become an attractive choice for KWS architecture because of their superior accuracy compared to traditional speech processing algorithms. Due to its always-on nature, KWS application has highly constrained power budget and typically runs on tiny microcontrollers with limited memory and compute capability. The design of neural network architecture for KWS must consider these constraints. In this work, we perform neural network architecture evaluation and exploration for running KWS on resource-constrained microcontrollers. We train various neural network architectures for keyword spotting published in literature to compare their accuracy and memory/compute requirements. We show that it is possible to optimize these neural network architectures to fit within the memory and compute constraints of microcontrollers without sacrificing accuracy. We further explore the depthwise separable convolutional neural network (DS-CNN) and compare it against other neural network architectures. DS-CNN achieves an accuracy of 95.4%, which is ~10% higher than the DNN model with similar number of parameters.

연구 동기 및 목표

• MCU 메모리 및 컴퓨트 제약 하에서 온-device 키워드 스포팅을 위한 다양한 신경망 아키텍처 평가.
• 아키텍처 간 정확도, 메모리 풋프린트, 추론당 연산 비교.
• MCU 한계 내에서 고정 자원 신경망 검색을 개발.
• 모바일 네트워크에서 영감을 얻은 깊이별 분리 합성곱 아키텍처를 제안하고 KWS를 위한 MCU에서 평가.
• 실제 MCU 하드웨어에서 실용적 배포 및 양자화 효과를 시연.

제안 방법

• 고정된 8비트 가중치/활성화 가정 하에 Google Speech Commands 데이터셋에서 DNN, CNN, LSTM, CRNN 등 문헌 기반 KWS 모델을 학습 및 비교.
• MobileNet에서 영감을 얻은 깊이별 분리 합성곱을 기반으로 한 DS-CNN 모델 도입 및 평가.
• 작은, 중간, 큰 세 MCU 메모리/컴퓨트 예산에 모델 맵핑을 통한 자원 제약 아키텍처 탐색 수행.
• 대표 모델을 8비트 고정소수점 가중치/활성화로 양자화하고 정확도 손실 평가.
• CMSIS-NN을 사용하여 Cortex-M7 MCU에서 8비트 양자화를 적용한 DNN 모델을 실시간 성능 검증.

실험 결과

연구 질문

• RQ1 MCU 자원으로 제약될 때 인기 있는 KWS 모델의 정확도, 메모리 풋프린트, 계산 요구량은 어느 정도인가?
• RQ2 DS-CNN이 고정 MCU 예산 내에서 이전 아키텍처를 능가할 수 있는가?
• RQ3 8비트 양자화가 마이크로컨트롤러에서 KWS 모델의 정확도와 배포성에 어떤 영향을 미치는가?
• RQ4 메모리 예산이 점점 더 빡빡해질 때 DS-CNN 모델의 확장성 및 트레이드오프는 어떠한가?

주요 결과

NN Architecture	Accuracy	Memory	Operations
DNN	84.3%	288 KB	0.57 MOps
CNN-1	90.7%	556 KB	76.02 MOps
CNN-2	84.6%	149 KB	1.46 MOps
LSTM	88.8%	26 KB	2.06 MOps
CRNN	87.8%	298 KB	5.85 MOps

• DS-CNN은 MCU 제약 내에서 최상의 정확도(각 작은, 중간, 큰 예산에서 각각 94.4%, 94.9%, 95.4%)를 달성한다.
• 양자화된 8비트 모델은 전체 정밀도 대역과 비교해 정확도를 유지하거나 약간 향상시켜 MCU 배치를 가능하게 한다.
• 8비트 DS-CNN/ DNN을 사용한 Cortex-M7 배포는 초당 10회의 추론, 추론당 약 12 ms, 총 KWS 풋프린트 약 70 KB로 실시간 온-디바이스 성능을 확인한다.
• DS-CNN은 메모리 및 컴퓨트 예산 전반에서 다른 아키텍처(DNN, CNN, LSTM, CRNN)보다 강한 확장성을 제공한다.
• 메모리가 8 KB까지로 낮춰도 DS-CNN 모델이 유사한 연산 수의 DNN보다 여전히 우수하여 초자원 제약 MCU에 적합함을 보여준다.