[논문 리뷰] TTS-by-TTS: TTS-driven Data Augmentation for Fast and High-Quality Speech Synthesis

Min-Jae Hwang, Ryuichi Yamamoto외 2명|arXiv (Cornell University)|2020. 10. 26.

Speech Recognition and Synthesis참고 문헌 25인용 수 5

한 줄 요약

이 논문은 고품질의 순차적(autoregressive, AR) TTS 시스템을 사용해 정확한 음소 지속 시간을 갖는 합성 텍스트-음성 쌍을 생성하고, 이를 통해 비순차적(non-AR) TTS 모델을 사전학습시키는 데이터 증강 기법인 TTS-by-TTS를 제안한다. 이 방법은 합성 데이터로 5시간의 실재 데이터를 179시간으로 증강함으로써 합성 품질을 크게 향상시켰으며, 기준 모델 대비 40% 향상된 3.74 MOS를 달성한다.

ABSTRACT

In this paper, we propose a text-to-speech (TTS)-driven data augmentation method for improving the quality of a non-autoregressive (AR) TTS system. Recently proposed non-AR models, such as FastSpeech 2, have successfully achieved fast speech synthesis system. However, their quality is not satisfactory, especially when the amount of training data is insufficient. To address this problem, we propose an effective data augmentation method using a well-designed AR TTS system. In this method, large-scale synthetic corpora including text-waveform pairs with phoneme duration are generated by the AR TTS system and then used to train the target non-AR model. Perceptual listening test results showed that the proposed method significantly improved the quality of the non-AR TTS system. In particular, we augmented five hours of a training database to 179 hours of a synthetic one. Using these databases, our TTS system consisting of a FastSpeech 2 acoustic model with a Parallel WaveGAN vocoder achieved a mean opinion score of 3.74, which is 40% higher than that achieved by the conventional method.

연구 동기 및 목표

• 실재 데이터가 제한된 상황에서 비순차적(non-AR) 음성합성(TTS) 시스템의 품질을 향상시키는 것.
• 고품질의 AR TTS를 활용해 AR과 비AR TTS 모델 간의 성능 격차를 해소하기 위한 데이터 증강 전략을 제안하는 것.
• 정확한 음소 지속 시간을 갖는 합성 데이터를 통해 비AR TTS 모델의 일반화 능력과 강인성을 향상시키는 것.
• TTS 기반 데이터 증강이 주관적 품질 평가 지표에서 전통적인 훈련 및 지식 정복 기법보다 뛰어나다는 것을 검증하는 것.

제안 방법

• 정확도가 높은 Tacotron 2 기반의 AR TTS 모델에 지속 시간 예측기(duration predictor)를 탑재하여 합성 음성 생성에 사용할 소스 모델로 활용한다.
• 다양하고 음소 분포를 유지한 텍스트 스크립트를 소스 AR TTS 모델에 입력하여 대규모의 합성 텍스트-음성 쌍을 생성한다.
• 외부의 지속 시간 예측 모델을 통해 음소 지속 시간을 예측하고, 이를 텍스트와 음성 특징 간의 정렬 정확도 향상에 활용한다.
• LP-WaveNet 버커터가 생성된 음성 특징에서 고품질의 웨이브폼을 합성하여 현실적인 음성 출력을 보장한다.
• 합성 데이터셋을 사용해 FastSpeech 2 기반의 비순차적 TTS 모델을 사전학습시키며, 추론 시 Parallel WaveGAN 버커터와 조합한다.
• 추가적인 실재 녹음 데이터가 필요 없이 품질과 정렬 정밀도의 충실도를 중시한 데이터 증강을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고품질의 AR TTS 시스템을 활용해 비순차적 TTS 모델의 품질을 크게 향상시킬 수 있는 합성 데이터를 생성할 수 있는가?
• RQ2 주관적 품질 측면에서 TTS 기반 데이터 증강은 기존의 훈련 및 지식 정복 기법과 비교해 어떻게 성능을 냈는가?
• RQ3 음소 지속 시간 분포를 유지한 합성 데이터를 사용한 데이터 증강이 미리 보지 않은 텍스트 패턴에 대한 일반화 능력을 향상시키는가?
• RQ4 실재 훈련 데이터가 제한된 상황에서 이 방법이 AR과 비AR TTS 시스템 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 실재 훈련 데이터의 크기를 늘릴 경우, 제안된 방법이 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 TTS-by-TTS 방법은 실재 데이터 5시간과 합성 데이터 179시간을 사용해 훈련한 비순차적 TTS 모델에서 평균 관점 점수(MOS) 3.74를 달성했으며, 이는 증강 없이 훈련한 기준 모델 대비 40% 향상된 성능이다.
• 실재 데이터와 증강 데이터를 모두 사용한 경우, 비순차적 TTS 모델은 MOS 3.95를 기록했으며, 이는 실재 데이터 5시간만 사용한 설정의 3.74점보다 높았다.
• 지속 시간 예측기를 갖춘 AR TTS 모델은 표준 어텐션 메커니즘보다 더 정확한 음소 정렬을 생성했으며, 정성적 분석에서 더 명확한 어텐션 히트맵을 통해 이를 확인할 수 있었다.
• 이 데이터 증강 방법은 Tacotron 2 모델의 강인성을 향상시켜 어텐션 붕괴 현상을 줄이고, 새로운 텍스트에 대한 정렬 안정성을 향상시켰다.
• 모델 정복 기반 접근법보다 데이터의 양과 품질에 중점을 두어 성능을 뛰어나게 했다.
• 실재 데이터가 단지 5시간 뿐이어도 MOS 3.74를 달성했으며, 이는 합성 데이터가 데이터 부족 문제를 효과적으로 보완할 수 있음을 보여준다.