[논문 리뷰] Meta-Voice: Fast few-shot style transfer for expressive voice cloning using meta learning

Songxiang Liu, Dan Su외 1명|arXiv (Cornell University)|2021. 11. 14.

Speech Recognition and Synthesis참고 문헌 16인용 수 8

한 줄 요약

Meta-Voice는 사전 훈련된 다중 발화자, 다중 프로소디 TTS 모델을 사용하여 빠른 소수 샘플 표현성 음성 클로닝을 위한 메타학습 접근법을 제안한다. 스타일별 파라미터에 대해 모델 무관 메타학습(MAML)을 적용하고, 발화자-프로소디 분리에 대해 도메인 적대적 훈련과 직교 제약 조건을 활용함으로써, 타겟 발화자당 5개의 음성 샘플(약 12초)만으로도 100번의 적응 단계 이내에 고품질의 음성 클로닝을 달성한다.

ABSTRACT

The task of few-shot style transfer for voice cloning in text-to-speech (TTS) synthesis aims at transferring speaking styles of an arbitrary source speaker to a target speaker's voice using very limited amount of neutral data. This is a very challenging task since the learning algorithm needs to deal with few-shot voice cloning and speaker-prosody disentanglement at the same time. Accelerating the adaptation process for a new target speaker is of importance in real-world applications, but even more challenging. In this paper, we approach to the hard fast few-shot style transfer for voice cloning task using meta learning. We investigate the model-agnostic meta-learning (MAML) algorithm and meta-transfer a pre-trained multi-speaker and multi-prosody base TTS model to be highly sensitive for adaptation with few samples. Domain adversarial training mechanism and orthogonal constraint are adopted to disentangle speaker and prosody representations for effective cross-speaker style transfer. Experimental results show that the proposed approach is able to conduct fast voice cloning using only 5 samples (around 12 second speech data) from a target speaker, with only 100 adaptation steps. Audio samples are available online.

연구 동기 및 목표

• 새로운 발화자에 대해 제한된 데이터(예: 5개의 문장)만 존재하는 상황에서 소수 샘플 스타일 전이 문제를 해결한다.
• 낮은 데이터 환경에서 모델 용량과 과적합 사이의 상충 관계를 극복한다.
• 새로운 발화자의 음성에 빠르게 적응시키면서도 표현적 프로소디 전달을 유지하는 TTS 모델의 적응을 가능하게 한다.
• 발화자 신원과 프로소디 표현을 분리하여 효과적인 다발화자 스타일 전이를 지원한다.
• 표준 미세조정 기반 모델 대비 적응 속도와 효율성을 향상시켜 계산 비용과 처리 시간을 감소시킨다.

제안 방법

• 사전 훈련된 다중 발화자, 다중 프로소디 TTS 모델의 스타일별 파라미터를 최적화하기 위해 모델 무관 메타학습(MAML)을 도입하여 빠른 적응을 달성한다.
• 모델 파라미터를 공유 파라미터(사전 훈련에서 전이된 것)와 스타일별 파라미터(메타학습을 통해 최적화됨)로 분해한다.
• 잠재 공간에서 발화자와 프로소디 표현을 분리하기 위해 기울기 반전 레이어(GRL)를 활용한 도메인 적대적 훈련을 적용한다.
• 발화자 및 프로소디 벡터에 직교 제약 조건을 도입하여 표현 분리와 일반화 능력을 향상시킨다.
• 추론 시 학습된 스타일 임bedding을 조건으로 삼아 TTS 모델을 조절하기 위해 스타일 적응형 배치 정규화(SALN) 메커니즘을 사용한다.
• 사전 메타학습을 위해 대규모 다중 발화자, 다중 프로소디 코퍼스(71시간)를 사용하여, 발화자 및 프로소디 제어를 위한 가중치가 부여된 복합 손실을 함께 사용한다.

실험 결과

연구 질문

• RQ1 메타학습은 소수 샘플 음성 클로닝을 가속화하면서도 높은 음성 품질과 표현성을 유지할 수 있는가?
• RQ2 MAML 기반 적응은 최소한의 데이터로 높은 발화자 유사도를 달성하기 위해 필요한 단계 수를 얼마나 줄일 수 있는가?
• RQ3 도메인 적대적 훈련과 직교 제약 조건은 낮은 데이터 환경에서 발화자 신원과 프로소디 표현의 분리에 얼마나 효과적인가?
• RQ4 표준 미세조정 기반 모델 대비 Meta-Voice는 적응 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 5개의 짧은 문장만으로도 성별 간 및 다양한 발화자 유형 간의 다발화자 스타일 전이에 대해 모델이 일반화 가능한가?

주요 결과

• Meta-Voice는 타겟 발화자당 5개의 음성 샘플(약 12초)만으로도 100번의 적응 단계 이내에 0.7 이상의 발화자 코사인 유사도를 달성한다.
• 기준 모델은 훨씬 더 많은 적응 단계를 거쳐야 Meta-Voice와 유사한 발화자 유사도와 멜-세프스트럼 왜곡(MCD) 수준에 도달하며, 이는 Meta-Voice의 뛰어난 적응 속도를 입증한다.
• 기준 모델은 충분한 미세조정을 거치면 결국 Meta-Voice의 성능을 따라잡지만, 이는 Meta-Voice의 주요 이점이 더 빠른 수렴 속도에 있음을 확인한다.
• 도메인 적대적 훈련과 직교 제약 조건은 발화자 및 프로소디 표현의 효과적인 분리를 가능하게 하여 견고한 다발화자 스타일 전이를 실현한다.
• 이 방법은 동성 간 및 이성 간 스타일 전이 모두에 효과적이며, 다양한 발화자 유형 간에서 일관된 성능을 보인다.
• 해당 방법의 사례를 보여주는 오디오 샘플이 온라인으로 공개되어 있어 생성된 음성의 실용성과 청각적 품질을 확인할 수 있다.