[논문 리뷰] An Ultra-low Power RNN Classifier for Always-On Voice Wake-Up Detection Robust to Real-World Scenarios

Emmanuel Hardy, Franck Badets|arXiv (Cornell University)|2021. 03. 08.

Speech and Audio Processing참고 문헌 22인용 수 5

한 줄 요약

이 논문은 실세계의 잡음에 강건한 특성으로 최적화된 초저전력 RNN 기반 분류기를 제안한다. 정교하게 선별된 데이터셋과 손실 함수를 통해 훈련되었으며, 65nm CMOS에서 전력 소비가 45 nW에 불과하고 메모리가 0.52 kB에 불과한 상황에서 1% 미만의 듀티 사이클로 <3%의 무응답률을 달성한다. 기존의 VAD 접근 방식에 비해 음성 시작 시점의 정확한 탐지를 통해 효율성을 향상시킨다.

ABSTRACT

We present in this paper an ultra-low power (ULP) Recurrent Neural Network (RNN) based classifier for an always-on voice Wake-Up Sensor (WUS) with performances suitable for real-world applications. The purpose of our sensor is to bring down by at least a factor 100 the power consumption in background noise of always-on speech processing algorithms such as Automatic Speech Recognition, Keyword Spotting, Speaker Verification, etc. Unlike the other published approaches, we designed our wake-up sensor to be robust to unseen real-world noises for realistic levels of speech and noise by carefully designing the dataset and the loss function. We also specifically trained it to mark only the speech start rather than adopting a traditional Voice Activity Detection (VAD) approach. We achieve less than 3% No Trigger Rate (NTR) for a duty cycle less than 1% in challenging background noises pooled using a model of an analogue front-end. We demonstrate the superiority of RNNs on this task compared to the other tested approaches, with an estimated power consumption of 45 nW for the RNN itself in 65nm CMOS and a minimal memory footprint of 0.52 kB.

연구 동기 및 목표

• 항상 케이블링된 음성 처리 시스템의 배경 전력 소비를 최소 100배 이상 감소시키기.
• 실제 음성과 잡음 수준에서의 예측 불가능한 실세계의 잡음 조건에 강건한 웨이크업 센서 개발하기.
• 지속적인 음성 활동이 아닌 음성 시작 시점만을 탐지하도록 모델을 훈련시켜 효율성 향상시키기.
• 초저전력(45 nW)과 최소한의 메모리(0.52 kB)를 목표로 하여 65nm CMOS에서 하드웨어 자원 사용 최소화하기.
• 도전적인 음향 조건 하에서 기존 접근 방식에 비해 강건성과 효율성 측면에서 뛰어난 성능 확보하기.

제안 방법

• 저자들은 RNN 분류기를 훈련하기 위해 실제 잡음 수준과 다양한 실세계 조건을 반영한 맞춤형 데이터셋을 설계했다.
• 전통적인 VAD 방식의 지속적 활성화 방식을 피하기 위해 음성 시작 시점의 정확한 탐지를 강조하는 전용 손실 함수를 개발했다.
• 주어진 오디오 세그먼트가 음성 시작을 포함하고 있는지 여부를 분류하기 위해 RNN 모델을 엔드 투 엔드로 훈련시켰다.
• 실제 신호 열악화와 잡음을 모의하기 위해 시뮬레이션된 아날로그 프론트엔드 모델을 사용하여 시스템을 평가했다.
• 최종 모델은 초저전력 CMOS 하드웨어에 배포하기 위해 최적화되었으며, 65nm 공정 기술을 대상으로 하였다.
• 모델 양자화와 하드웨어 인식 훈련 기법을 적용하여 45 nW의 전력 소비와 0.52 kB의 메모리 프로파일을 달성했다.

실험 결과

연구 질문

• RQ1 RNN 기반 분류기는 다양한 예측 불가능한 실세계의 잡음 환경에서 강건한 웨이크업 탐지 기능을 달성할 수 있는가?
• RQ2 지속적인 음성 활동이 아닌 음성 시작 시점 탐지에 초점을 맞춘 훈련 방식이 전력 효율성과 정확도를 향상시키는가?
• RQ3 65nm CMOS 구현에서 초저전력(45 nW)과 최소한의 메모리(0.52 kB)를 확보하면서도 높은 성능을 유지할 수 있는가?
• RQ4 기존의 VAD 및 기타 기준 대비 제안된 방법은 무응답률과 듀티 사이클 측면에서 어떻게 비교되는가?
• RQ5 데이터셋과 손실 함수 설계가 실세계의 잡음에 대한 강건성 향상에 얼마나 기여하는가?

주요 결과

• RNN 분류기는 도전적인 배경 잡음 조건 하에서도 듀티 사이클이 1% 미만인 상황에서 무응답률이 3% 미만을 기록했다.
• 모델은 65nm CMOS에서 전력 소비가 단 45 nW에 불과하여 배경 전력 소비가 크게 감소했다.
• 시스템은 메모리가 단 0.52 kB에 불과하여 자원이 제한된 임베디드 환경에 적합했다.
• RNN은 이 작업에서 다른 테스트된 접근 방식보다 뛰어난 강건성과 효율성을 보였다.
• 맞춤형 데이터셋과 손실 함수 설계가 예측 불가능한 실세계의 잡음에 대한 강건성 향상에 크게 기여했다.
• 시스템은 높은 정밀도로 음성 시작 시점을 성공적으로 탐지하여 비음성 세그먼트에서의 잘못된 트리거를 방지했다.