[논문 리뷰] Semi-Supervised Training for Improving Data Efficiency in End-to-End Speech Synthesis

Yu-An Chung, Yuxuan Wang외 3명|arXiv (Cornell University)|2018. 08. 30.

Speech Recognition and Synthesis참고 문헌 14인용 수 5

한 줄 요약

이 논문은 텍스트-음성 쌍 데이터가 적은 경우에도 효율적으로 작동하는 엔드 투 엔드 텍스트-투-스피치(TTS) 모델을 위해, 비쌍체 텍스트 및 음성 코퍼스를 활용하는 준지도 학습 프레임워크를 제안한다. Tacotron 인코더를 사전 학습된 워드 벡터로 조절하고, 비쌍체 음성 데이터를 사용해 디코더를 사전 학습함으로써, 30분 미만의 쌍체 데이터로도 이해 가능한 음성 합성을 가능하게 하여 데이터 효율성 향상이 뚜렷하게 이루어짐을 보여준다.

ABSTRACT

Although end-to-end text-to-speech (TTS) models such as Tacotron have shown excellent results, they typically require a sizable set of high-quality pairs for training, which are expensive to collect. In this paper, we propose a semi-supervised training framework to improve the data efficiency of Tacotron. The idea is to allow Tacotron to utilize textual and acoustic knowledge contained in large, publicly-available text and speech corpora. Importantly, these external data are unpaired and potentially noisy. Specifically, first we embed each word in the input text into word vectors and condition the Tacotron encoder on them. We then use an unpaired speech corpus to pre-train the Tacotron decoder in the acoustic domain. Finally, we fine-tune the model using available paired data. We demonstrate that the proposed framework enables Tacotron to generate intelligible speech using less than half an hour of paired training data.

연구 동기 및 목표

• Tacotron과 같은 엔드 투 엔드 TTS 모델은 수집하기 어려운 대량의 쌍체 텍스트-음성 데이터를 요구하므로, 이러한 높은 데이터 요구량을 해결하고자 한다.
• 대규모로 공개되어 있으며 비쌍체인 텍스트 및 음성 코퍼스를 활용해 저자원 TTS 환경에서의 데이터 효율성을 향상시키고자 한다.
• 외부의 비쌍체 데이터에서의 무 supervision 사전 학습이 인코더 및 디코더의 표현 학습을 어떻게 부트스트랩할 수 있는지 탐색하고자 한다.
• 준지도 학습이 이해 가능한 음성 합성을 위한 최소 데이터 기준을 낮추는 데 얼마나 효과적인지 평가하고자 한다.
• 엔드 투 엔드 TTS 모델에 외부 자료에서 온 텍스트 및 음성 지식을 통합하기 위한 설계 지침을 제공하고자 한다.

제안 방법

• 사전 학습된 워드 벡터를 인코더 입력 또는 인코더 최상단에 연결하거나 요소별 덧셈을 통해 Tacotron 인코더를 조절하는 두 가지 방법(연결 및 요소별 덧셈)을 사용한다.
• 비쌍체 음성 코퍼스를 사용해 디코더를 무 supervision 방식으로 사전 학습한 후, 소량의 쌍체 데이터로 미세 조정한다.
• 사전 학습된 신경망 언어 모델(NNLM)의 워드 벡터를 사용해 인코더에 의미적 및 문법적 지식을 통합함으로써, 제한된 쌍체 데이터 조건에서도 텍스트 표현을 향상시킨다.
• 학습 및 평가 루프의 가속을 위해 웨이브폼 복원 방법으로 Griffin-Lim을 적용하며, 음성 품질보다는 데이터 효율성에 초점을 맞춘다.
• 소량의 쌍체 데이터만을 사용해 전체 모델을 미세 조정하여 텍스트와 음성 표현 간의 정렬을 학습한다.
• 다양한 설정을 평가: 인코더 전용(T-Enc), 디코더 전용(T-Dec), 통합(T-Enc-Dec) 조건부 설정을 비교하며 MCD 및 주관적 평가를 통해 성능을 분석한다.

실험 결과

연구 질문

• RQ1 사전 학습된 워드 벡터는 Tacotron과 같은 엔드 투 엔드 TTS 모델의 데이터 효율성을 뚜렷이 향상시킬 수 있는가?
• RQ2 비쌍체 음성 데이터에서 디코더를 사전 학습하면, 소량의 쌍체 데이터 조건에서도 정렬 학습과 음성 품질 향상에 기여하는가?
• RQ3 준지도 TTS 프레임워크에서 비쌍체 데이터로부터 온 텍스트 및 음성 지식을 최적의 방식으로 통합하는 구성은 무엇인가?
• RQ4 매우 제한된 쌍체 데이터(예: 30분 미만)로 훈련된 경우, 준지도 Tacotron의 성능은 표준 베이스라인과 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 30분 미만의 쌍체 훈련 데이터로도 이해 가능한 음성을 생성할 수 있는가?

주요 결과

• 제안된 준지도 학습 프레임워크는 쌍체 훈련 데이터가 24분 뿐이어도 Tacotron이 이해 가능한 음성을 생성할 수 있도록 하여 데이터 요구량을 크게 감소시켰다.
• T-Dec(디코더 사전 학습)는 모든 변종 중에서 가장 낮은 MCD(12.09)를 기록하여 비쌍체 음성 데이터에서의 음성 표현 학습이 뛰어났음을 시사한다.
• T-Enc와 T-Dec는 모두 주관적 평가에서 베이스라인 T-Base를 크게 앞서며, 평가자 중 60% 이상이 이들 모델을 베이스라인보다 선호했다.
• 비교 평가에서 T-Enc, T-Dec, T-Enc-Dec 간에 강한 선호도 차이가 없었으며, 서로 다른 사전 학습 전략을 사용함에도 불구하고 유사한 청각적 품질을 확보했다.
• 준지도 모델과 베이스라인 간의 성능 격차가 가장 컸던 것은 쌍체 데이터 12분일 때였으며, 이는 프레임워크가 저자원 환경에서 가장 큰 이점을 제공함을 확인한다.
• 모든 데이터 양에서 베이스라인보다 낮은 MCD를 지속적으로 기록함으로써, 데이터 효율성 외에도 Prosody 향상 또는 내성적 강건성 향상 등의 이점이 있음을 시사한다.