[논문 리뷰] Convolutional Recurrent Neural Networks for Small-Footprint Keyword Spotting

Sercan Ö. Arık, Markus Kliegl외 6명|arXiv (Cornell University)|2017. 03. 15.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 소형 키���드 스폴팅을 위한 경량화된 컨볼루션 순환 신경망(CRNN)을 제안한다. 이는 국소적 특징 추출을 위한 컨볼루션 계층과 장기적 맥락 모델링을 위한 이중 방향 LSTM를 조합한다. 약 ~230만 파라미터로도 5 dB SNR에서 시간당 0.5회의 잘못 알림(false alarms)을 기록할 때 97.71%의 정확도를 달성하여, 엣지 장치에의 구현에 있어 높은 효율성과 강인성을 입증한다.

ABSTRACT

Keyword spotting (KWS) constitutes a major component of human-technology interfaces. Maximizing the detection accuracy at a low false alarm (FA) rate, while minimizing the footprint size, latency and complexity are the goals for KWS. Towards achieving them, we study Convolutional Recurrent Neural Networks (CRNNs). Inspired by large-scale state-of-the-art speech recognition systems, we combine the strengths of convolutional layers and recurrent layers to exploit local structure and long-range context. We analyze the effect of architecture parameters, and propose training strategies to improve performance. With only ~230k parameters, our CRNN model yields acceptably low latency, and achieves 97.71% accuracy at 0.5 FA/hour for 5 dB signal-to-noise ratio.

연구 동기 및 목표

• 자원 제약이 있는 장치에 배포 가능한 작고 저지연의 키틀워드 스폴팅 시스템을 개발하기 위해.
• 작은 모델 크기와 낮은 잘못 알림 비율을 유지하면서도 정확도를 향상시키기 위해.
• 노이즈 환경에서 강인한 키틀워드 검출을 위해 컨볼루션 계층과 순환 계층의 상호보완적 강점을 활용하기 위해.
• 최소한의 추론 복잡성과 높은 효율성을 확보하기 위해 모델 아키텍처와 학습 전략을 최적화하기 위해.

제안 방법

• 모델은 원시 오디오 스펙트로그램에서 국소적 스펙트럼 패턴을 추출하기 위해 컨볼루션 계층의 스택을 사용한다.
• 장기적 시간적 의존성을 오디오 시퀀스에서 포착하기 위해 이중 방향 장기 단기 기억(LSTM, BLSTM) 계층을 적용한다.
• 파rameter 수와 계산 비용을 줄이기 위해 깊이 분리형 컨볼루션(deepwise separable convolutions)을 아키텍처에 통합한다.
• 일반화 능력과 수렴 속도를 향상시키기 위해 스케줄링 샘플링과 커리큘럼 학습을 결합한 공동 학습 전략을 적용한다.
• 최종 계층은 각 시간 프레임에 대한 키틀워드 확률을 출력하기 위해 소프트맥스 분류기를 사용한다.
• 모델 압축 기법으로서 가중치 공유와 양자화 인식 학습(quantization-aware training)을 적용하여 추가로 크기를 줄인다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-RNN 아키텍처가 최소한의 모델 크기와 낮은 지연으로 높은 키틀워드 검출 정확도를 달성할 수 있는가?
• RQ2 필터 크기, 커널 스트라이드, 네트워크 깊이와 같은 아키텍처 선택이 성능과 모델 크기에 어떤 영향을 미치는가?
• RQ3 노이즈에 대한 강인성을 향상시키면서도 낮은 잘못 알림 비율을 유지하는 데 가장 효과적인 학습 전략은 무엇인가?
• RQ4 정확도를 손상시키지 않고 파라미터 효율성을 어느 정도까지 달성할 수 있는가?

주요 결과

• CRNN 모델은 신호 대 잡음비(SNR)가 5 dB일 때 시간당 0.5회의 잘못 알림에서 키틀워드 검출 정확도가 97.71%에 이른다.
• ~230만 파라미터로도 저지연 추론 성능을 유지하여 실시간 엣지 배포에 적합하다.
• 컨볼루션 계층과 순환 계층의 통합은 단독으로 CNN 또는 RNN을 사용한 경우보다 성능 향상을 크게 이룬다.
• 스케줄링 샘플링과 커리큘럼 학습을 포함한 제안된 학습 전략은 모델의 일반화 능력과 수렴 속도를 향상시킨다.
• 모델는 낮은 SNR 수준에서도 높은 정확도를 유지하며 강력한 노이즈 강인성을 보여준다.