[논문 리뷰] Voice Cloning: a Multi-Speaker Text-to-Speech Synthesis Approach based on Transfer Learning

G. Ruggiero, Enrico Zovato외 2명|arXiv (Cornell University)|2021. 02. 10.

Speech Recognition and Synthesis참고 문헌 24인용 수 6

한 줄 요약

이 논문은 최소한의 대상 발화자 데이터로 음성 클로닝이 가능한 전이 학습을 활용한 다중 발화자 텍스트-to-음성 시스템을 제안한다. 사전 훈련된 발화자 확인 모델에서 유저 수준의 임베딩을 활용함으로써, 짧은 참조 클립으로 음성 합성을 조건화함으로써 높은 발화자 유사도와 미리 알 수 없는 발화자에 대한 강건성을 달성하였으며, 테스트 데이터에서 발화자 확인 EER이 0.040으로 나타났다.

ABSTRACT

Deep learning models are becoming predominant in many fields of machine learning. Text-to-Speech (TTS), the process of synthesizing artificial speech from text, is no exception. To this end, a deep neural network is usually trained using a corpus of several hours of recorded speech from a single speaker. Trying to produce the voice of a speaker other than the one learned is expensive and requires large effort since it is necessary to record a new dataset and retrain the model. This is the main reason why the TTS models are usually single speaker. The proposed approach has the goal to overcome these limitations trying to obtain a system which is able to model a multi-speaker acoustic space. This allows the generation of speech audio similar to the voice of different target speakers, even if they were not observed during the training phase.

연구 동기 및 목표

• 미리 알 수 없는 발화자의 음성을 몇 초의 참조 오디오만으로도 클로닝할 수 있는 데이터 효율적인 텍스트-to-음성 시스템을 개발하는 것.
• 각 새로운 발화자에 대해 재학습이 필요 없는 다중 발화자 합성을 가능하게 하여 단일 발화자 TTS 모델의 한계를 극복하는 것.
• 고정된 발화자 임베딩 대신 유저 임베딩을 사용하여 일반화 능력을 향상시켜 음성 클로닝 성능을 향상시키는 것.
• 합성된 음성에서 음색과 발화자 정체성을 유지하는 능력을 평가하는 것.
• 사전 훈련된 발화자 확인 모델에서의 전이 학습이 종단 간 음성 클로닝에 효과적인지 입증하는 것.

제안 방법

• 시스템은 세 구성 요소 아키텍처를 사용한다: 발화자 인식기, 어텐션을 갖춘 순서-순서 합성기, 신경 음향기.
• 발화자 인식기는 전이 학습을 통해 사전 훈련된 발화자 확인 모델을 활용하여 짧은 참조 오디오 클립에서 유저 임베딩을 계산한다.
• 합성기는 고정된 발화자 임베딩 대신 텍스트와 유저 임베딩 벡터를 조건으로 삼아 멜-스펙트로그램을 생성한다.
• 음향기는 생성된 멜-스펙트로그램을 시간 도메인 웨이브포맷으로 변환한다.
• 발화자 인식기는 검증 세트에서 발화자 확인 오차(SV-EER)를 최소화하도록 훈련되어, 분류 가능한 발화자 표현을 보장한다.
• 전체 시스템은 합성 손실과 발화자 임베딩 일致성의 다중 목표를 결합하여 종단 간으로 훈련된다.

실험 결과

연구 질문

• RQ1 몇 초의 참조 오디오만으로도 TTS 시스템이 새로운 발화자로 일반화할 수 있는가?
• RQ2 고정된 발화자 임베딩 대신 유저 임베딩을 사용하면 제로샷 음성 클로닝 성능이 향상되는가?
• RQ3 사전 훈련된 발화자 확인 모델에서의 전이 학습이 합성 음성에서 발화자 정체성 유지에 얼마나 기여하는가?
• RQ4 기준 모델 대비 제안된 시스템의 발화자 유사도와 합성 품질 측면에서 어떤 차이가 있는가?
• RQ5 각 새로운 발화자에 대해 재학습 없이도 높은 음색 유사도를 유지할 수 있는가?

주요 결과

• 제안된 시스템은 테스트 세트에서 발화자 확인 등가오차(SV-EER)가 0.040을 기록하여 기준 시스템(0.049)을 능가했다.
• 고도화된 GRU 기반의 발화자 인식기 아키텍처가 가장 낮은 SV-EER를 달성했으며, 표준 GRU 네트워크보다 훈련 시에 훨씬 빠른 성능을 보였다.
• 여덟 명의 테스트 발화자에 대해 생성된 임베딩과 진짜 임베딩 간의 코사인 유사도는 0.56에서 0.76 사이로 나타나 강력한 발화자 표현 일치를 보였다.
• 제안된 시스템의 주관적 평균 유사도 점수(MSS)는 5점 만점에 3.17로 기준 시스템의 2.59보다 높아, 인식된 발화자 유사도 향상을 보였다.
• UMAP를 사용한 유저 임베딩 투영 결과, 성별과 정체성에 따라 명확한 클러스터링이 관찰되어 강력한 발화자 표현 학습을 확인했다.
• 개선된 성능에도 불구하고 시스템은 인간 수준의 자연스러움을 완전히 달성하지 못했으며, 프로소디 재현이 여전히 한계로 남아 있었다.