[논문 리뷰] ESPnet: End-to-End Speech Processing Toolkit

Shinji Watanabe, Takaaki Hori외 10명|arXiv (Cornell University)|2018. 03. 30.

Speech Recognition and Synthesis참고 문헌 36인용 수 74

한 줄 요약

ESPnet은 Kaldi와 같은 데이터 처리 방식과 함께 Chainer 및 PyTorch로 구축된 오픈 소스 엔드-투-엔드 ASR 도구킷으로, 하이브리드 CTC/어텐션 모델, 다목적 학습, 합동 디코딩 및 언어 모델 통합을 지원하며, WSJ, CSJ, HKUST에서 벤치마크를 수행하고 경쟁력 있는 결과를 보여준다.

ABSTRACT

This paper introduces a new open source platform for end-to-end speech processing named ESPnet. ESPnet mainly focuses on end-to-end automatic speech recognition (ASR), and adopts widely-used dynamic neural network toolkits, Chainer and PyTorch, as a main deep learning engine. ESPnet also follows the Kaldi ASR toolkit style for data processing, feature extraction/format, and recipes to provide a complete setup for speech recognition and other speech processing experiments. This paper explains a major architecture of this software platform, several important functionalities, which differentiate ESPnet from other open source ASR toolkits, and experimental results with major ASR benchmarks.

연구 동기 및 목표

• 단일화된 엔드-투-엔드 ASR 플랫폼의 필요성을 동기부여하고, 학습 및 평가를 단순화한다.
• 강건한 엔드-투-엔드 ASR를 위한 CTC/어텐션 하이브리드를 활용한 유연한 아키텍처를 제공한다.
• 재현성과 벤치마킹의 용이성을 위한 Kaldi 스타일의 데이터 전처리 및 레시피를 제공한다.
• 주요 ASR 벤치마크(WSJ, CSJ, HKUST)에서 경쟁력 있는 성능을 입증한다.
• 구현의 효율성과 확장성(다중 GPU, PyTorch/Chainer 백엔드)을 강조한다.

제안 방법

• 단일 인코더를 사용하여 공동 학습 및 디코딩을 수행하는 하이브리드 CTC/어텐션 엔드-투-엔드 ASR 프레임워크를 채택한다.
• 가변 alpha 파라미터를 갖는 L = alpha L_ctc + (1-alpha) L_att 형태의 L_ctc와 L_att를 결합한 다목적 학습을 사용한다.
• 더 빠른 CTC 계산을 위한 warp CTC를 사용하고 위치 기반, 점곱, 가산, 다중 헤드 등 다양한 어텐션 유형을 지원한다.
• 일회전 빔 탐색에서 CTC 점수와 어텐션 점수를 결합하여 합동 디코딩을 구현한다.
• 얕은 융합(shallow fusion)으로 디코딩 중 RNNLM을 통합하며 beta 스케일링 파라미터를 사용한다.
• Kaldi 스타일의 데이터 전처리 및 특징 추출을 제공하여 Kaldi 레시피와의 호환성과 80-dim 로그-MMel 특징(피치 포함)을 보장한다.
• 다중 백엔드(Chainer 및 PyTorch)와 모델 및 인식 모듈용 간단하고 컴팩트한 파이썬 코드베이스(~5.4K 줄)를 지원한다.
• 표준화된 벤치마킹을 가능하게 하는 WSJ, Librispeech, TED-LIUM, CSJ, AMI, HKUST, VoxForge, CHiME-4/5 용 엔드-투-엔드 ASR 레시피를 제공한다.

Figure 1: Software architecture of ESPnet.

실험 결과

연구 질문

• RQ1 다양한 언어와 작업에서 단일 CTC/어텐션 프레임워크를 사용해 엔드-투-엔드 ASR의 성능이 경쟁력 있을 수 있는가?
• RQ2 다목적 학습 및 합동 CTC/어텐션 디코딩이 엔드-투-엔드 ASR의 강건성 및 수렴에 기여하는가?
• RQ3 엔드-투-엔드 툴킷에서 Kaldi 스타일의 데이터 전처리의 실질적 이점은 무엇인가(속도, 단순성, 재현성)?
• RQ4 디코딩 중 외부 언어 모델을 엔드-투-엔드 모델이 얼마나 효과적으로 활용할 수 있는가?
• RQ5 ESPnet이 악조건의 환경이나 다국어 설정에서 얼마나 잘 확장될 수 있는가?

주요 결과

• WSJ에서 더 깊은 인코더와 문자 기반 LM의 통합 및 합동 디코딩이 CER과 WER를 점진적으로 향상시키며, 합동 디코oding은 CER 5.5 (dev93) / 3.8 (eval92) 및 WER 12.4 (dev93) / 8.9 (eval92)를 달성한다.
• PyTorch 백엔드가 일부 기준선보다 훨씬 빠르게 학습시키며(한 GPU에서 5시간), Chainer에서 20시간이 걸려 효율성 향상을 강조한다.
• CSJ 결과는 다중 GPU 설정에서 CER이 eval1/eval2/eval3에서 각각 8.7/6.2/6.9로 나타나고 소폭의 개선을 제공한다(예: 8.5/6.1/6.8).
• HKUST 만다린 CTS 결과는 ESPnet이 최첨단 HMM/DNN 시스템에 근접함을 보여주며 CER 28.3으로, 경쟁 방법의 28.2–34.8에 비해 거의 비슷하다.
• 전반적으로 ESPnet은 WSJ, CSJ, HKUST에서 엔드-투-엔드 ASR 성능이 경쟁력 있으며 특정 구성에서 래티스-프 없이 MMI 기반 또는 하이브리드 시스템과 맞먹거나 더 뛰어날 때도 있다.
• 프레임워크는 단순성과 접근성을 강조하며 Kaldi 및 Julius 대비 코드베이스 크기를 대폭 줄인 (~5.4K Python 줄) 수준에서 유사한 성능을 달성한다.

Figure 2: Experimental flow of standard ESPnet recipe.