[논문 리뷰] Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech

Sung-Feng Huang, Chyi-Jiunn Lin외 3명|arXiv (Cornell University)|2021. 11. 07.

Speech Recognition and Synthesis참고 문헌 32인용 수 8

한 줄 요약

이 논문은 모델 무관 메타학습(MAML)을 통해 다중화자 FastSpeech 2 모델을 훈련시켜, 소수의 샘플로도 빠르게 화자 적응이 가능한 메타학습 기반의 Meta-TTS를 제안한다. 이 방법은 10~20회의 적응 단계 내에 높은 화자 유사도를 달성하며, 화자 적응 및 화자 인코딩 기반의 기준 모델들보다도 뛰어난 성능을 보인다. 특히 후자 모델은 추가로 8,371명의 화자를 포함한 사전 훈련을 수행한 바 있다.

ABSTRACT

Personalizing a speech synthesis system is a highly desired application, where the system can generate speech with the user's voice with rare enrolled recordings. There are two main approaches to build such a system in recent works: speaker adaptation and speaker encoding. On the one hand, speaker adaptation methods fine-tune a trained multi-speaker text-to-speech (TTS) model with few enrolled samples. However, they require at least thousands of fine-tuning steps for high-quality adaptation, making it hard to apply on devices. On the other hand, speaker encoding methods encode enrollment utterances into a speaker embedding. The trained TTS model can synthesize the user's speech conditioned on the corresponding speaker embedding. Nevertheless, the speaker encoder suffers from the generalization gap between the seen and unseen speakers. In this paper, we propose applying a meta-learning algorithm to the speaker adaptation method. More specifically, we use Model Agnostic Meta-Learning (MAML) as the training algorithm of a multi-speaker TTS model, which aims to find a great meta-initialization to adapt the model to any few-shot speaker adaptation tasks quickly. Therefore, we can also adapt the meta-trained TTS model to unseen speakers efficiently. Our experiments compare the proposed method (Meta-TTS) with two baselines: a speaker adaptation method baseline and a speaker encoding method baseline. The evaluation results show that Meta-TTS can synthesize high speaker-similarity speech from few enrollment samples with fewer adaptation steps than the speaker adaptation baseline and outperforms the speaker encoding baseline under the same training scheme. When the speaker encoder of the baseline is pre-trained with extra 8371 speakers of data, Meta-TTS can still outperform the baseline on LibriTTS dataset and achieve comparable results on VCTK dataset.

연구 동기 및 목표

• 소수의 등록 샘플만으로도 미리 보지 않은 화자에 대해 텍스트-to-스피치 시스템을 개인화하는 데 도전한다.
• 수천 번의 미세조정 단계가 필요한 전통적인 화자 적응 방법의 느린 적응 속도를 해결한다.
• 과적합으로 인해 새로운 화자에 대해 일반화가 어려운 화자 인코딩 방법의 일반화 갭을 줄인다.
• 최소한의 계산 비용과 적응 단계로도 효율적이고 고품질의 음성 클로닝을 가능하게 한다.
• 메타학습이 소수의 샘플로 화자 적응을 위한 우수한 초기화 전략이 될 수 있음을 입증한다.

제안 방법

• 메타학습의 핵심인 모델 무관 메타학습(MAML)을 적용하여 다중화자 FastSpeech 2 모델을 훈련시키며, 메타최적화는 화자 조건부 구성 요소에 집중한다.
• 이중 루프 최적화를 사용한다: 내부 루프는 소수의 샘플로 구성된 화자 적응 작업에 대해 모델을 미세조정하고, 외부 루프는 신속한 적응을 위한 메타초기화를 업데이트한다.
• 학습 가능한 화자 임베딩 테이블을 도입하여 FastSpeech 2를 다중화자 생성을 지원하도록 수정하며, MAML은 오직 화자에 의존하는 모듈에만 적용한다.
• 메타초기화를 훈련시켜 소수의 적응 단계(예: 10~20회)로도 고품질의 음성 클로닝이 가능하도록 한다.
• 표준 화자 적응 방법(다중 작업 훈련)과 화자 인코딩 방법(사전 훈련 또는 공동 훈련된 화자 인코더 포함)의 두 기준 모델과 Meta-TTS를 비교한다.
• LibriTTS 및 VCTK 데이터셋에서 화자 유사도, 화자 확인(EER, DET), 합성 음성 탐지(ROC AUC) 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 메타학습은 텍스트-to-스피치 시스템에서 고품질의 화자 적응을 위해 필요한 적응 단계 수를 크게 줄일 수 있는가?
• RQ2 Meta-TTS는 새로운 화자에 대해 일반화되는 데 있어 화자 인코딩 방법과 비교해 화자 유사도 측면에서 어떻게 성능을 내는가?
• RQ3 10~20회의 적응 단계로 제한된 상황에서, 메타학습 기반 적응은 표준 미세조정 기반 적응보다 뛰어난 성능을 내는가?
• RQ4 8,371명의 추가 화자에 대해 사전 훈련된 기준 모델보다도 Meta-TTS가 더 뛰어난 성능을 내는가?
• RQ5 메타학습을 통해 얻은 초기화 전략은 추가적인 미세조정 없이도 다양한 새로운 화자에 대해 일반화할 수 있는가?

주요 결과

• Meta-TTS는 10~20회의 적응 단계로도 높은 화자 유사도를 달성하며, 이는 화자 적응 기준 모델이 수천 번의 단계가 필요로 하는 것과 비교해 훨씬 신속하다.
• LibriTTS 데이터셋에서, Meta-TTS는 사전 훈련된 8,371명의 추가 화자 데이터를 사용한 화자 인코딩 기준 모델보다 100회의 적응 단계 이내로도 성능이 뛰어나다.
• VCTK 데이터셋에서는, 화자 인코딩 기준 모델의 사전 훈련 이점에도 불구하고, Meta-TTS는 유사한 성능을 달성한다.
• 기준 모델의 화자 인코더는 특히 공동 훈련된 경우 과적합 현상으로 인해 새로운 화자에 대해 일반화가 떨어지는 경향을 보였다.
• 합성 음성 탐지 결과에 따르면, Meta-TTS가 생성한 음성은 실제 음성과 더 유사하고 기준 모델보다 더 구별하기 어려운 것으로 나타났다.
• EER 및 DET 곡선 결과는 Meta-TTS가 소수의 샘플 환경에서 두 기준 모델보다 더 높은 화자 유사도의 음성을 생성함을 확인한다.