[논문 리뷰] MatchboxNet: 1D Time-Channel Separable Convolutional Neural Network Architecture for Speech Commands Recognition

Somshubra Majumdar, Boris Ginsburg|arXiv (Cornell University)|2020. 04. 18.

Speech Recognition and Synthesis참고 문헌 33인용 수 82

한 줄 요약

MatchboxNet은 시간-채널 분리 합성곱을 사용하여 기존 모델보다 훨씬 적은 파라미터로 Google Speech Commands 데이터셋에서 최신 기술 수준의 정확도를 달성하는 컴팩트하고 엔드 투 엔드 1D 컨볼루션 신경망이다. 이는 배경 노이즈와 음성으로 인한 강력한 데이터 증강을 통해 높은 모델 효율성과 확장성을 확보하면서도 내성적 강건성을 향상시킨다.

ABSTRACT

We present an MatchboxNet - an end-to-end neural network for speech command recognition. MatchboxNet is a deep residual network composed from blocks of 1D time-channel separable convolution, batch-normalization, ReLU and dropout layers. MatchboxNet reaches state-of-the-art accuracy on the Google Speech Commands dataset while having significantly fewer parameters than similar models. The small footprint of MatchboxNet makes it an attractive candidate for devices with limited computational resources. The model is highly scalable, so model accuracy can be improved with modest additional memory and compute. Finally, we show how intensive data augmentation using an auxiliary noise dataset improves robustness in the presence of background noise.

연구 동기 및 목표

• 저자원 엣지 디바이스에서 키워드 스裴팅을 위한 컴팩트하고 효율적인 딥 러닝 모델을 개발하는 것.
• 기존 음성 명령 인식 모델과 비교해 정확도를 유지하면서 모델 파라미터를 줄이는 것.
• 고도화된 데이터 증강 기법을 통해 배경 노이즈와 음성에 대한 강건성을 향상시키는 것.
• 다양한 모델 크기와 하드웨어 제약 조건에서 아키텍처의 확장성을 입증하는 것.

제안 방법

• 모델는 성능을 유지하면서 파라미터 수를 줄이기 위해 1D 시간-채널 분리 합성곱을 사용한다.
• 각 잔차 블록은 배치 정규화, ReLU, 드롭아웃를 포함한 다수의 서브블록을 가진 깊은 잔차 신경망 구조를 취한다.
• 주요 잔차 블록 전후의 특징 변환을 위해 프로로그 및 엔드리프 서브블록을 포함한다.
• 시간 이동, 화이트 노이즈, SpecAugment, SpecCutout, 그리고 Freesound 데이터베이스에서 추출한 추가 배경 노이즈를 포함한 광범위한 데이터 증강 기법이 적용된다.
• V-100 GPU에서 혼합 정밀도 학습과 함께 웜업-홀드-디레이 학습률 스케줄을 사용한 NovoGrad 옵timizer로 학습된다.
• 실제 환경 노이즈와 배경 음성을 포함한 데이터셋으로 재학습을 통해 강건성이 향상된다.

실험 결과

연구 질문

• RQ1 1D 시간-채널 분리 합성곱 아키텍처가 기존 모델보다 적은 파라미터로 음성 명령 인식에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 MatchboxNet에서 깊이(B×R)나 너비(C)를 증가시킬 경우 성능에 어떤 영향을 미치는가?
• RQ3 보조 배경 노이즈를 포함한 학습이 실제 환경 노이즈 조건에 대한 강건성 향상에 얼마나 기여하는가?
• RQ4 엣지 디바이스에 배포하기 위해 매우 컴팩트한 상태로도 높은 정확도를 유지할 수 있는가?
• RQ5 노이즈 환경에서 신호 대 노이즈 비율(SNR)이 다양할 경우 모델의 성능은 어떻게 되는가?

주요 결과

• MatchboxNet-3x2x64는 Google Speech Commands v1에서 오직 93K 파라미터로 97.48%의 정확도를 기록했으며, DenseNet-BC-100(800K 파라미터)과 EdgeSpeechNet-A(107K 파라미터)를 능가했다.
• v2에서는 MatchboxNet-3x2x64가 93K 파라미터로 97.21%의 정확도를 기록했으며, 'Embedding + Head'(385K 파라미터)와 유사한 성능을 보였다.
• 모델을 MatchboxNet-6x2x64로 확장하면 v2에서 정확도가 97.55%로 상승했으며, 파라미터 증가율이 매우 낮은 수준에서 강력한 확장성 잠재력을 입증했다.
• 실제 환경 노이즈와 배경 음성을 포함한 증강 데이터로 학습한 모델는 청소된 테스트 데이터에서 97.05%의 정확도를 기록했으며, 기본 증강 기법에 비해 성능 저하 없이 우수한 성능 유지를 확인했다.
• 노이즈 조건(SNR -10 dB에서 50 dB)에서 MatchboxNet-6x2x64는 50 dB SNR에서 97.33%의 정확도를 유지했으며, 모든 SNR 수준에서 더 작은 3x1x64 버전을 능가했다.
• 배경 음성과 노이즈 클래스를 포함한 데이터셋으로 학습한 모델는 확장된 v2 데이터셋에서 96.97%의 정확도를 기록했으며, 실제 환경에서의 강건성이 향상됨을 확인했다.