[논문 리뷰] QuartzNet: Deep Automatic Speech Recognition with 1D Time-Channel Separable Convolutions

Samuel Kriman, Stanislav Beliaev외 7명|arXiv (Cornell University)|2019. 10. 22.

Speech Recognition and Synthesis참고 문헌 27인용 수 31

한 줄 요약

QuartzNet는 1D 시간-채널 분리 합성곱을 사용하여 LibriSpeech 및 Wall Street Journal에서 거의 최상의 단어 오류율을 달성하는 깊이 있고 효율적인 엔드 투 엔드 음성 인식 모델을 소개한다. 모델 파rameter 수는 2000만 미만이며, 이는 이전 모델들보다 훨씬 적다. 이로 인해 자원 제약이 있는 장치에서도 빠른 훈련과 배포가 가능하다.

ABSTRACT

We propose a new end-to-end neural acoustic model for automatic speech recognition. The model is composed of multiple blocks with residual connections between them. Each block consists of one or more modules with 1D time-channel separable convolutional layers, batch normalization, and ReLU layers. It is trained with CTC loss. The proposed network achieves near state-of-the-art accuracy on LibriSpeech and Wall Street Journal, while having fewer parameters than all competing models. We also demonstrate that this model can be effectively fine-tuned on new datasets.

연구 동기 및 목표

• 기존 모델들보다 훨씬 적은 파arameter로 거의 최상의 정확도를 달성하는 컴act한 엔드 투 엔드 음성 인식 모델을 개발한다.
• 모바일 및 임베디드 장치에의 배포를 가능하게 하기 위해 ASR 모델의 계산 및 메모리 요구량을 줄인다.
• 깊이 분리 합성곱 기반의 모델 아키텍처를 설계하여 1D 합성곱에서 시간과 채널 방향 연산을 분리함으로써 효율성을 높인다.
• 제한된 타겟 도메인 데이터로도 효과적인 전이 학습을 통해 새로운 데이터셋에 적응할 수 있도록 한다.
• 모델 압축과 혼합 정밀도 훈련을 통해 높은 추론 처리량과 더 빠른 훈련 속도를 달성한다.

제안 방법

• 표준 1D 합성곱을 1D 시간-채널 분리 합성곱으로 대체하여, 합성곱 연산을 시간 방향의 디프스와이즈 합성곱과 채널 간의 포인트와이즈 합성곱으로 분해한다.
• 모델을 잔차 블록의 스택으로 구성하며, 각 블록은 디프스와이즈 합성곱, 포인트와이즈 합성곱, 배치 정규화, ReLU 활성화 함수를 포함하는 여러 모듈로 이루어진다.
• 원시 음성 특징을 직접 문자 시퀀스로 매핑하기 위해 엔드 투 엔드 훈련을 위해 연결주의 시간 분류(CTC) 손실을 사용한다.
• 오디오 품질 향상과 일반화 능력 향상을 위해 속도 왜곡 및 SpecCutout과 같은 데이터 증강 기법을 적용한다.
• 다중 GPU 시스템에서 메모리 사용량을 줄이고 훈련 속도를 높이기 위해 혼합 정밀도 훈련을 활용한다.
• 새로운 데이터셋인 WSJ와 같은 데이터셋에 대해 사전 훈련된 모델을 전이 학습을 통해 미세 조정하여 제한된 데이터로도 새로운 도메인에 적응하도록 한다.

실험 결과

연구 질문

• RQ1 1D 시간-채널 분리 합성곱을 사용하는 깊이 신경망이 기존 모델들보다 훨씬 적은 파arameter로 거의 최상의 ASR 성능을 달성할 수 있는가?
• RQ2 더 큰 파arameter 수를 가진 기존 엔드 투 엔드 ASR 모델들과 비교했을 때, 제안된 아키텍처는 정확도와 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 제한된 타겟 도메인 데이터로도 미세 조정을 통해 얼마나 잘 새로운 도메인으로 일반화할 수 있는가?
• RQ4 혼합 정밀도 훈련과 데이터 증강이 모델 수렴과 추론 품질에 어떤 영향을 미치는가?
• RQ5 모델이 자원이 제한된 장치에 적합한 동시에 LibriSpeech와 Wall Street Journal 벤치마크에서 모두 높은 성능을 유지할 수 있는가?

주요 결과

• QuartzNet-15x5는 사전 훈련 후 LibriSpeech test-clean에서 2.96%의 단어 오류율을 기록했고, test-other에서는 7.53%를 기록하여, 단지 1890만 개의 파arameter로 거의 최상의 성능에 도달했다.
• 3000 에포크 동안의 훈련 후, LibriSpeech test-clean에서 3.87%의 WER, test-other에서는 10.61%의 WER를 기록하여 대용량 배치 최적화를 통해 강력한 수렴 성능를 입증했다.
• Wall Street Journal 데이터셋에서 QuartzNet-5x3는 Transformer-XL 언어 모델을 사용해 nov92-eval에서 4.82%의 WER를 기록했으며, 더 적은 파arameter로 RNN-CTC 및 ResCNN-LAS 모델들을 능가했다.
• LibriSpeech와 Common Voice에서 사전 훈련된 QuartzNet-15x5 모델을 80시간 분량의 WSJ 데이터로 미세 조정함으로써, WSJ nov92-eval에서의 WER가 Transformer-XL LM를 사용해 8.97%에서 2.99%로 감소했다.
• 32개의 DGX2 노드를 사용해 전역 배치 크기가 16K인 조건에서 QuartzNet-15x5 모델을 훈련함으로써 훈련 시간을 122시간에서 4.3시간으로 단축시켜 효율적인 확장성을 입증했다.
• 모델의 파arameter 효율성(2000만 미만) 덕분에 모바일 및 임베디드 장치에서 계산 및 메모리 자원이 제한된 환경에서도 매우 적합하게 배포될 수 있다.