[논문 리뷰] TalkNet: Fully-Convolutional Non-Autoregressive Speech Synthesis Model

Stanislav Beliaev, Yurii Rebryk외 1명|arXiv (Cornell University)|2020. 05. 12.

Speech Recognition and Synthesis참고 문헌 19인용 수 12

한 줄 요약

TalkNet는 그래프음소 지속 시간 예측기와 멜스펙트로그램 생성기를 사용하여 빠르고 고품질의 음성 합성 구현을 위한 완전 컨volution형 비자기적 텍스트-to-음성 모델이다. 명시적인 지속 시간 예측을 통해 단어 생략 및 반복을 명시적으로 제거하여, Tacotron 2나 FastSpeech와 같은 모델보다 3배 적은 1080만 파라미터(10.8M)로 거의 최신 기술 수준의 음성 품질을 달성하면서도 훨씬 더 빠른 훈련 및 추론 속도를 제공한다.

ABSTRACT

We propose TalkNet, a convolutional non-autoregressive neural model for speech synthesis. The model consists of two feed-forward convolutional networks. The first network predicts grapheme durations. An input text is expanded by repeating each symbol according to the predicted duration. The second network generates a mel-spectrogram from the expanded text. To train a grapheme duration predictor, we add the grapheme duration to the training dataset using a pre-trained Connectionist Temporal Classification (CTC)-based speech recognition model. The explicit duration prediction eliminates word skipping and repeating. Experiments on the LJSpeech dataset show that the speech quality nearly matches auto-regressive models. The model is very compact -- it has 10.8M parameters, almost 3x less than the present state-of-the-art text-to-speech models. The non-autoregressive architecture allows for fast training and inference.

연구 동기 및 목표

• 자기적 TTS 모델의 한계를 해결하기 위해, 주로 어텐션 실패로 인한 단어 생략/반복 문제와 느린 추론 속도를 개선한다.
• 자기적 디코딩과 어텐션 메커니즘의 필요성을 제거하여 훈련 및 추론 속도를 향상시킨다.
• 교사 모델이 필요 없이도 높은 음성 품질을 유지하는 컴팩트하고 파라미터 효율적인 TTS 시스템을 개발한다.
• 명시적인 지속 시간 예측을 통해 억양과 음성 속도에 대한 직접적인 제어를 가능하게 한다.
• 외부 정렬 애너테이션의 필요성을 피하기 위해 사전 훈련된 CTC 기반 ASR 모델의 정렬을 사용해 지속 시간 예측기의 훈련을 수행한다.

제안 방법

• 모델는 두 개의 완전 컨volution형 피드포워드 네트워크를 사용한다: 그래프음소 지속 시간 예측기와 멜스펙트로그램 생성기.
• 입력 텍스트는 먼저 지속 시간 예측기를 통과하여 각 그래프음소의 예측 지속 시간을 출력한다.
• 입력 텍스트는 예측 지속 시간에 따라 각 문자를 반복함으로써 시간에 맞춰진 시퀀스로 확장된다.
• 확장된 시퀀스는 멜스펙트로그램 생성기에 입력되어 비자기적 방식으로 최종 멜스펙트로그램을 생성한다.
• 지속 시간 예측은 사전 훈련된 CTC 기반 ASR 모델에서 추출한 정렬을 사용하여 훈련된다. 이는 문자-오디오 정렬의 지도 데이터를 제공한다.
• 훈련 중에 지속 시간 증강 기법을 적용하여 지속 시간 예측기의 오류에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 완전 컨벌루션형 비자기적 TTS 모델이 Tacotron 2와 같은 자기적 모델과 유사한 음성 품질을 달성할 수 있는가?
• RQ2 명시적인 지속 시간 예측이 어텐션 메커니즘에 의존하지 않고도 단어 생략 및 반복 문제를 효과적으로 해결할 수 있는가?
• RQ3 1100만 파라미터 이하의 컴팩트한 TTS 모델이 더 큰 최신 기술 수준의 모델들과 경쟁할 수 있는가?
• RQ4 비자기적 아키텍처가 자기적 기준 모델 대비 훈련 및 추론 속도를 얼마나 향상시키는가?
• RQ5 사전 훈련된 CTC 기반 ASR 모델이 추가 애너테이션 없이도 고품질의 지속 시간 예측기 훈련을 위한 충분한 정렬 감독을 제공할 수 있는가?

주요 결과

• TalkNet는 LJSpeech 데이터셋에서 평균 평가 점수(MOS) 3.74 ± 0.07을 기록하여 Tacotron 2의 MOS 3.85 ± 0.06과 매우 유사한 수준의 음성 품질을 달성했다.
• 모델는 어려운 테스트 문장에서 Tacotron 2나 Transformer-TTS와 같은 자기적 모델보다도 단어 생략 및 반복을 거의 제로 수준으로 줄였다.
• V100 GPU에서 추론 지연 시간은 샘플당 0.019초이며, 실시간 요율(RTF)이 328.65로, Tacotron 2(RTF 7.56)와 FastSpeech(RTF 221.01)보다 훨씬 빠르게 작동한다.
• 혼합 정밀도에서 8개의 V100 GPU를 사용해 약 2시간 내로 훈련이 완료되어 유사한 모델들보다 훨씬 더 빠른 훈련 속도를 보였다.
• TalkNet는 총 1080만 개의 파라미터를 가지며, Tacotron 2(2820만)와 FastSpeech(3010만)보다 거의 3배 적은 파라미터를 사용해 높은 파라미터 효율성을 입증했다.
• 지속 시간 예측 오류에 대해 강건한 성능을 보였으며, 이는 훈련 중 지속 시간 증강 기법을 적용함으로써 일반화 능력이 향상되었기 때문이다.