[논문 리뷰] The 2020 ESPnet update: new features, broadened applications, performance improvements, and future plans

Shinji Watanabe, Florian Boyer외 13명|arXiv (Cornell University)|2020. 12. 23.

Speech Recognition and Synthesis참고 문헌 74인용 수 6

한 줄 요약

이 논문은 자동 음성 인식(ASR)을 넘어서 텍스트 음성 합성(TTS), 음성 번역(ST), 음성 변환(VC), 그리고 비음성 제거, 분리, 음향 보정 등 포함된 복합 음성 향상(SE)을 포함한 종합적인 음성 처리 툴킷인 ESPnet의 2020년 업데이트를 제시한다. 이 프레임워크는 트랜스포머, 컨포머 및 고도화된 데이터 증강 기법을 사용하여 모든 구성 요소를 통합된 엔드 투 엔드 방식으로 훈련할 수 있으며, ESPnet2를 통해 향상된 확장성과 유연성으로 인해 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

This paper describes the recent development of ESPnet (https://github.com/espnet/espnet), an end-to-end speech processing toolkit. This project was initiated in December 2017 to mainly deal with end-to-end speech recognition experiments based on sequence-to-sequence modeling. The project has grown rapidly and now covers a wide range of speech processing applications. Now ESPnet also includes text to speech (TTS), voice conversation (VC), speech translation (ST), and speech enhancement (SE) with support for beamforming, speech separation, denoising, and dereverberation. All applications are trained in an end-to-end manner, thanks to the generic sequence to sequence modeling properties, and they can be further integrated and jointly optimized. Also, ESPnet provides reproducible all-in-one recipes for these applications with state-of-the-art performance in various benchmarks by incorporating transformer, advanced data augmentation, and conformer. This project aims to provide up-to-date speech processing experience to the community so that researchers in academia and various industry scales can develop their technologies collaboratively.

연구 동기 및 목표

• 엔드 투 엔드 자동 음성 인식(ASR)을 넘어서 다양한 음성 처리 응용 분야를 지원하기 위해 ESPnet을 확장하는 것.
• 음성 향상(전처리) 및 ASR/TTS/ST 모델(후처리)을 통합된 엔드 투 엔드 방식으로 훈련시켜 성능 향상과 배포 단순화를 달성하는 것.
• 분산 훈련과 실시간 특징 추출 기능을 갖춘 ESPnet2 도입을 통해 시스템의 확장성과 유지보수성을 향상시키는 것.
• 컨포머, 트랜스포머, 데이터 증강 및 RNN-Transducer와 같은 고도화된 기법을 지원하여 ASR 및 TTS 성능을 향상시키는 것.
• WSJ0-2mix와 같은 다양한 벤치마크에서 최고 수준의 성능을 달성하는 재현 가능한 종합 레시피를 제공하는 것.

제안 방법

• 프레임워크는 ASR, TTS, ST, VC, SE 등 다양한 음성 처리 응용을 하나의 엔드 투 엔드 훈련 철학 아래 통합하기 위해 일반적인 순서-순서 모델링 접근 방식을 사용한다.
• ESPnet2는 분산 훈련, 실시간 웨이브폼에서 특징 추출, 대규모 훈련을 위한 개선된 메모리 관리 기능을 갖춘 새로운 훈련 시스템을 도입한다.
• 음성 향상 모듈은 완전히 미분 가능하게 구현되어 신호 수준 또는 ASR 기반 목적 함수를 사용한 엔드 투 엔드 최적화를 가능하게 한다.
• 다중 채널 음성 분리 및 향상에 대해 신경 기반 비음성 보정기(MVDR, WPD, wMPDR)와 마스크 네트워크를 사용하며, ASR 손실과 함께 공동 최적화한다.
• 강화 및 인식 모듈의 공동 훈련은 순차적 파이프라인을 통해 공통 손실 함수를 사용한 공통 최적화로 달성되며, 다중 화자 환경에서는 순열 불변 훈련(PIT)이 적용된다.
• DNN 기반 WPE 음향 보정 기법을 통합할 수 있으며, ASR 목적 함수와 함께 엔드 투 엔드 훈련이 가능해져 음향 보정 및 인식의 공동 최적화를 실현한다.

실험 결과

연구 질문

• RQ1 ASR, TTS, ST, VC 및 음성 향상과 같은 다양한 음성 처리 작업을 지원할 수 있는 통합된 엔드 투 엔드 프레임워크를 어떻게 설계할 수 있는가?
• RQ2 ESPnet2는 대규모 음성 처리 모델의 훈련 확장성, 메모리 효율성, 유연성에 있어 어떤 개선을 이룬다?
• RQ3 음성 향상 및 인식 모듈을 엔드 투 엔드로 공동 훈련하는 방식이 다중 화자 및 노이즈 환경에서 기존 파이프라인 방식보다 우수하거나 동등한 성능을 낼 수 있는가?
• RQ4 컨포머와 트랜스포머와 같은 고도화된 아키텍처에 데이터 증강 기법을 결합할 경우, 다양한 음성 처리 벤치마크에서 성능 향상은 어느 정도 이루어지는가?
• RQ5 비음성 보정, 분리, 노이즈 제거, 음향 보정 등의 다양한 음성 향상 기법을 하나의 통합적이고 완전히 미분 가능한 프레임워크 내에서 통합하는 데 얼마나 효과적인가?

주요 결과

• ESPnet는 이제 TTS, ST, VC 및 비음성 보정(비음성 보정, 분리, 노이즈 제거, 음향 보정 포함)을 포함한 다양한 엔드 투 엔드 음성 응용을 지원하며, 모든 모듈을 공동으로 훈련한다.
• ESPnet2의 도입으로 시스템의 확장성이 크게 향상되어 분산 훈련과 원시 웨이브폼에서의 실시간 특징 추출이 가능해졌으며, 이로 인해 이전의 메모리 문제를 해결했다.
• 향상 및 인식 모듈의 공동 훈련은 WSJ0-2mix와 같은 벤치마크 데이터셋에서 기존 파이프라인 시스템과 비교해 유사하거나 뛰어난 성능을 달성했다.
• 컨포머, 트랜스포머 및 데이터 증강 기법의 사용으로 다양한 ASR 및 TTS 벤치마크에서 최고 수준의 성능을 달성했다.
• 완전히 미분 가능한 음성 향상 모듈(예: BeamformerNet, DNN-WPE)을 통해 신호 수준 또는 ASR 기반 목적 함수를 사용한 엔드 투 엔드 최적화가 가능해졌다.
• 2020년 12월 기준으로 프레임워크는 3,100개의 GitHub 스타와 321건의 인용을 확보하여 강력한 커뮤니티 수용과 활발한 개발을 반영하고 있다.