[논문 리뷰] FastSpeech 2: Fast and High-Quality End-to-End Text to Speech

Yi Ren|arXiv (Cornell University)|2020. 06. 08.

Speech Recognition and Synthesis참고 문헌 40인용 수 513

한 줄 요약

빠른합성(FastSpeech 2)은 실제 mel-스펙트로그램으로 직접 학습하고 피치와 에너지 분산 정보를 추가하여 일대다 매핑 문제를 완화합니다. FastSpeech 2s는 엔드-투-엔드 TTS를 더 빠르게 얻기 위해 파형을 병렬로 직접 생성합니다.

ABSTRACT

Non-autoregressive text to speech (TTS) models such as FastSpeech can synthesize speech significantly faster than previous autoregressive models with comparable quality. The training of FastSpeech model relies on an autoregressive teacher model for duration prediction (to provide more information as input) and knowledge distillation (to simplify the data distribution in output), which can ease the one-to-many mapping problem (i.e., multiple speech variations correspond to the same text) in TTS. However, FastSpeech has several disadvantages: 1) the teacher-student distillation pipeline is complicated and time-consuming, 2) the duration extracted from the teacher model is not accurate enough, and the target mel-spectrograms distilled from teacher model suffer from information loss due to data simplification, both of which limit the voice quality. In this paper, we propose FastSpeech 2, which addresses the issues in FastSpeech and better solves the one-to-many mapping problem in TTS by 1) directly training the model with ground-truth target instead of the simplified output from teacher, and 2) introducing more variation information of speech (e.g., pitch, energy and more accurate duration) as conditional inputs. Specifically, we extract duration, pitch and energy from speech waveform and directly take them as conditional inputs in training and use predicted values in inference. We further design FastSpeech 2s, which is the first attempt to directly generate speech waveform from text in parallel, enjoying the benefit of fully end-to-end inference. Experimental results show that 1) FastSpeech 2 achieves a 3x training speed-up over FastSpeech, and FastSpeech 2s enjoys even faster inference speed; 2) FastSpeech 2 and 2s outperform FastSpeech in voice quality, and FastSpeech 2 can even surpass autoregressive models. Audio samples are available at https://speechresearch.github.io/fastspeech2/.

연구 동기 및 목표

• 비자 autoregressive TTS에서 입력에 분산 정보(지연/길이, 피치, 에너지)를 풍부하게 하여 일대다 매핑 문제 해결.
• 교사 증류 대상 대신 실제 mel-스펙트로그램을 직접 사용하여 학습 파이프라인 단순화.
• 지연 정확도 향상 및 피치와 에너지 예측기를 도입하여 음성 품질 개선.
• FastSpeech 2s를 개발하여 완전한 엔드-투-엔드 텍스트-투-웨이브폼 합성을 가능한 빠른 추론 속도와 함께 제공

제안 방법

• 인코더가 음소 임베딩을 숨겨진 표현으로 변환합니다.
• Variance adaptor가 숨겨진 시퀀스에 지연, 피치, 에너지 정보를 추가합니다.
• 지연 예측기는 정확한 음소 지연을 위해 강제 정렬(MFA) 타깃을 사용합니다.
• 피치 예측기는 연속 웨이블릿 변환(CWT)을 통해 주파수 영역에서 피치를 예측하고 추론 시 iCWT를 사용합니다.
• 에너지 예측기는 프레임 수준의 에너지를 예측하고 그 임베딩을 숨겨진 시퀀스에 추가합니다.
• Mel-spectrogram 디코더는 병렬로 멜-스펙트로그램을 생성합니다; 학습 타깃은 실제 mel-spectrogram(교사-학생 증류 없음)입니다.
• FastSpeech 2s는 FastSpeech 2를 확장하여 텍스트에서 직접 파형을 생성하는 WaveNet 유사 디코더와 적대적 학습, 병렬 보코더 기반 판별기를 사용하여 엔드-투-엔드 파형 합성을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 교사-학생 증류를 제거하고 실제 mel-spectrogram으로 직접 학습하면 음성 품질이 개선될 수 있는가?
• RQ2 지연(기간), 피치(CWT를 통한) 및 에너지를 분산 정보로 포함시키면 합성 음성의 자연성이 향상되는가?
• RQ3 주파수 영역의 피치 예측이 운율과 MOS에 어떤 영향을 미치는가?
• RQ4 빠른 추론 속도로 완전한 엔드-투-엔드 비자 autoregressive TTS 모델이 FastSpeech 2s로 파형을 직접 생성하면서 품질과 속도를 유지할 수 있는가?

주요 결과

• FastSpeech 2는 FastSpeech 대비 학습 속도를 3배 높입니다.
• FastSpeech 2와 2s는 음성 품질에서 FastSpeech를 능가하며, FastSpeech 2는 MOS에서 자기회귀 모델을 능가하기도 합니다.
• FastSpeech 2와 2s는 피치와 에너지를 더 정확하게 제공하여 운율 및 CMOS 점수를 FastSpeech보다 향상시킵니다.
• 주파수 영역에서 CWT를 사용한 피치 예측은 시간 영역 예측보다 피치 모델링과 CMOS 점수를 개선합니다.
• FastSpeech 2s는 캐스케이드 시스템보다 빠른 추론으로 완전한 엔드-투-엔드 파형 생성을 가능하게 합니다.
• FastSpeech 2는 추론 시간 속도 향상(RT F 약 1.95e-2)을 제공하고, FastSpeech 2s는 엔드포인트 대기 시간을 더 개선합니다.