[논문 리뷰] Espresso: A Fast End-to-end Neural Speech Recognition Toolkit

Yiming Wang, Tongfei Chen외 8명|arXiv (Cornell University)|2019. 09. 18.

Speech Recognition and Synthesis참고 문헌 60인용 수 14

한 줄 요약

Espresso는 PyTorch와 fairseq 기반으로 구축된 빠르고 모듈화되고 확장 가능한 엔드 투 엔드 신경망 음성인식(ASR) 툴킷으로, 앞서보는 단어 기반 언어모델 융합이 가능한 완전히 병렬화된 디코더를 특징으로 한다. 데이터 증강 없이 WSJ, LibriSpeech, Switchboard에서 최신 기술 수준의 ASR 성능을 달성하며, ESPnet과 같은 유사한 시스템 대비 디코딩 속도가 4–11배 빠르다.

ABSTRACT

We present Espresso, an open-source, modular, extensible end-to-end neural automatic speech recognition (ASR) toolkit based on the deep learning library PyTorch and the popular neural machine translation toolkit fairseq. Espresso supports distributed training across GPUs and computing nodes, and features various decoding approaches commonly employed in ASR, including look-ahead word-based language model fusion, for which a fast, parallelized decoder is implemented. Espresso achieves state-of-the-art ASR performance on the WSJ, LibriSpeech, and Switchboard data sets among other end-to-end systems without data augmentation, and is 4--11x faster for decoding than similar systems (e.g. ESPnet).

연구 동기 및 목표

• ESPnet과 같은 혼합 딥러닝 프레임워크에 의존하는 시스템에서 특히 두드러지는 기존 엔드 투 엔드 ASR 툴킷의 한계, 즉 낮은 확장성과 느린 디코딩을 해결하기 위해.
• PyTorch와 fairseq의 분산 학습 및 최적화된 추론 기능을 활용하여 엔드 투 엔드 ASR의 빠르고 확장 가능한 학습 및 추론을 가능하게 하기 위해.
• 앞서보는 언어모델 융합이 가능한 완전히 병렬화된 디코더를 도입하여 정확도를 유지하면서도 디코딩 속도를 향상시키기 위해.
• 데이터 증강 없이도 표준 벤치마크(WSJ, LibriSpeech, Switchboard)에서 최신 기술 수준의 ASR 성능을 달성함으로써 제안된 아키텍처와 학습 기법의 효과성을 입증하기 위해.
• fairseq와의 인프라 공유를 통해 향후 음성인식과 자연어처리 간 통합을 촉진하고, 음성-텍스트 및 텍스트-음성 시스템 분야에서 통합된 연구를 가능하게 하기 위해.

제안 방법

• 모듈성, 확장성, GPU 및 노드 간 분산 학습 지원을 보장하기 위해 fairseq와 PyTorch를 기반으로 구축한다.
• 입력 데이터는 Kaldi 스타일의 SCP 형식을 사용하며, 음성 특징의 분할 로딩을 통해 I/O와 메모리 사용을 균형 있게 조절한다.
• 모든 배치의 후보 해를 동시에 계산함으로써 순차적 계산을 방지하는, 앞서보는 언어모델 융합을 위한 병렬화된 디코더를 구현한다.
• 표준 EOS 임계치 기반 기법보다 더 효과적으로 삭제 및 삽입 오류를 줄이기 위해 개선된 커버리지 메커니즘을 도입한다.
• SentencePiece를 통한 서브워드 토크나이제이션과 교차엔트로피 손실을 통한 공동 학습을 지원하며, CTC나 하이브리드 학습에 의존하지 않는다.
• 비트 시프트 및 버킷 기반 배치 처리를 포함한 fairseq의 기존 추론 및 학습 파이프라인과의 원활한 상호운용성을 제공한다.

Fig. 1 : The efficient look-ahead LM algorithm. The dark gray and light gray subtrees correspond to the probability mass spanned by prefix $p\mathtt{c}$ and $p$ (numerator and denominator in Eq. ( 1 )) respectively. These can be efficiently computed via Eq. ( 4 ) using cumsum .

실험 결과

연구 질문

• RQ1 모듈러하고 PyTorch 기반의 ASR 툴킷은 ESPnet과 같은 기존 엔드 투 엔드 시스템보다 정확도를 유지하거나 향상시키면서도 더 빠른 디코딩을 달성할 수 있는가?
• RQ2 앞서보는 언어모델 융합을 위한 완전한 병렬화 구현은 순차적 접근 대비 디코딩 지연을 크게 줄이는가?
• RQ3 개선된 커버리지 메커니즘은 표준 EOS 임계치 기반 기법보다 단어 오류율을 더 효과적으로 낮출 수 있는가?
• RQ4 fairseq 기반의 통합 툴킷은 음성-텍스트 및 텍스트-음성 시스템 분야에서 더 빠르고 유지보수 용이한 연구를 얼마나 지원할 수 있는가?
• RQ5 더 나은 모델 아키텍처와 디코딩 기법을 활용하여 데이터 증강 없이도 최신 기술 수준의 ASR 성능을 달성할 수 있는가?

주요 결과

• Espresso는 데이터 증강 없이도 WSJ, LibriSpeech, Switchboard에서 최신 기술 수준의 WER를 달성하였으며, LibriSpeech dev-clean에서 3.3%의 WER, dev-other에서 2.9%의 WER를 기록하였다. 이는 개선된 커버리지 기법 덕분이었다.
• WSJ 데이터셋에서 언어모델 학습 시 17.9% 빠르고, ASR 모델 학습 시 16.0% 더 빠르게 진행되었다.
• 언어모델 융합 없이도 ESPnet 대비 3.7배 빠르며, 앞서보는 언어모델 융합을 통해 10배 이상 빠른 디코딩 속도를 기록하였다. 이는 병렬화된 LM 점수 계산 덕분이었다.
• 개선된 커버리지 메커니즘이 EOS 임계치 기반 기법보다 더 효과적으로 삭제 오류를 줄였으며, 이는 LibriSpeech와 WSJ에서 낮은 WER 기여에 기여하였다.
• Switchboard에서는 서브워드 언어모델을 사용할 경우 9.2%의 WER, 사용하지 않을 경우 10.7%의 WER를 기록하여, SpecAugment 없이도 이전의 엔드 투 엔드 모델을 초월하는 성능을 보였다.
• 툴킷은 fairseq와의 원활한 통합을 지원하여, 향후 음성 번역 및 텍스트-음성 시스템 연구를 위한 공통 인프라를 제공한다.