[논문 리뷰] MediumVC: Any-to-any voice conversion using synthetic specific-speaker speeches as intermedium features

Yewei Gu, Zhenyu Zhang외 2명|arXiv (Cornell University)|2021. 10. 06.

Speech Recognition and Synthesis참고 문헌 19인용 수 8

한 줄 요약

MediumVC는 합성 특정화자 음성(SSF)을 중간 특징으로 사용하는 두 단계의 임의-임의(A2A) 음성 변환 프레임워크를 제안한다. 이는 A2A를 임의-한 명(2O)과 한 명-임의(O2A) 단계로 분해한다. A2O 학습을 위한 강건한 학습을 위해 피치 시프트 및 지속시간 유지(PSDR) 데이터 증강 기법을 도입하고, 사전 학습된 SingleVC를 활용해 SSF를 생성함으로써 MediumVC가 더 뛰어난 유사성과 자연스러움을 달성한다. 특히 미리 보지 않은 화자에 대해서도 뛰어난 성능을 보인다.

ABSTRACT

To realize any-to-any (A2A) voice conversion (VC), most methods are to perform symmetric self-supervised reconstruction tasks (Xi to Xi), which usually results in inefficient performances due to inadequate feature decoupling, especially for unseen speakers. We propose a two-stage reconstruction task (Xi to Yi to Xi) using synthetic specific-speaker speeches as intermedium features, where A2A VC is divided into two stages: any-to-one (A2O) and one-to-Any (O2A). In the A2O stage, we propose a new A2O method: SingleVC, by employing a noval data augment strategy(pitch-shifted and duration-remained, PSDR) to accomplish Xi to Yi. In the O2A stage, MediumVC is proposed based on pre-trained SingleVC to conduct Yi to Xi. Through such asymmetrical reconstruction tasks (Xi to Yi in SingleVC and Yi to Xi in MediumVC), the models are to capture robust disentangled features purposefully. Experiments indicate MediumVC can enhance the similarity of converted speeches while maintaining a high degree of naturalness.

연구 동기 및 목표

• 대칭적 자기지도 학습 A2A 음성 변환에서 효율적이지 못한 특징 분리 문제를 해결한다. 특히, 미리 보지 않은 화자에 대해 고려한다.
• 대칭적 재구성 또는 이산 화자 임bedding에 의존하는 기존 A2A 방법의 한계를 극복한다. 이는 일반화 능력을 저해한다.
• 합성 특정화자 음성(SSF)을 중간 특징으로 사용하여 내용과 화자 정보를 더 효과적으로 분리하는 두 단계 프레임워크를 개발한다.
• 합성 데이터 증강을 활용한 비대칭 재구성 작업을 통해, 특히 미리 보지 않은 화자에 대한 강건성과 성능을 향상시킨다.
• 합성 특정화자 특징(SSF)이 기존 임bedding보다 내용과 화자 정보의 분리 및 융합을 더 잘 이끌 수 있음을 입증한다.

제안 방법

• 합성 특정화자 음성(SSF)을 중간 특징으로 사용하는 두 단계 A2A VC 프레임워크를 제안한다. 첫 번째 단계는 SingleVC를 통한 임의-한 명(A2O), 두 번째 단계는 MediumVC를 통한 한 명-임의(O2A)이다.
• A2O 학습을 위한 비대칭 훈련 데이터를 생성하기 위해 새로운 데이터 증강 전략인 피치 시프트 및 지속시간 유지(PSDR)를 도입한다.
• SingleVC에서 원래 음성을 피치 시프트된 입력에서 재구성하는 자기지도 재구성 손실(L1)을 사용하여 강건한 내용 표현 학습을 촉진한다.
• 배치 정규화나 레이어 정규화보다 모델의 강건성을 향상시키기 위해 디코더에 무게 정규화(WN)를 적용한다.
• 사전 학습된 SingleVC를 활용해 SSF를 생성하고, 이를 MediumVC의 중간 표현으로 사용하여 O2A 변환을 수행한다.
• 비대칭 재구성 적용: X_i → Ŷ_i (SingleVC) 및 Ŷ_i → X̂_i (MediumVC), 이는 내용과 화자 특징의 의도적인 분리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 합성 특정화자 음성(SSF)을 중간 특징으로 사용하는 두 단계 A2A 음성 변환 프레임워크는, 특히 미리 보지 않은 화자에 대해 대칭적 자기지도 학습 방법보다 일반화 능력에서 뛰어나지 않는가?
• RQ2 피치 시프트 및 지속시간 유지(PSDR) 데이터 증강 전략은 언어적 내용을 유지하면서 효과적인 A2O 학습을 가능하게 하는가?
• RQ3 사전 학습된 SingleVC가 생성한 SSF를 사용할 경우, O2A 변환의 유사성과 자연스러움이 얼마나 향상되는가?
• RQ4 비대칭 재구성 작업(X_i → Ŷ_i → X̂_i)은 대칭 재구성에 비해 특징 분리 능력을 얼마나 향상시키는가?
• RQ5 SSF 기반 특징 표현은 이산 화자 임bedding 또는 Wav2Vec 2.0 기반 특징보다 A2A VC 성능에서 뛰어나지 않는가?

주요 결과

• MediumVC는 VCTK에서 자연스러움에 대해 평균 평가 점수(MOS) 3.52를 기록했고, LibriSpeech에서는 3.34를 기록하여 볼드, AutoVC, AdaIn-VC를 모두 앞서며 볼드 및 미리 보지 않은 화자 모두에서 뛰어난 성능을 보였다.
• 유사성 측정에서는 MediumVC가 VCTK에서 MOS 3.82, LibriSpeech에서는 3.25를 기록했으며, 특히 미리 보지 않은 화자에 대해 AutoVC(3.21, 3.21)와 AdaIn-VC(3.04, 3.07)를 크게 앞서는 성능을 보였다.
• 절단 실험 결과, 사전 학습된 SingleVC를 사용하는 MediumVC(Mw/S)는 미학습 SingleVC를 사용하는 Mw/uS 및 SingleVC 없이 사용하는 Mw/oS보다 특히 미리 보지 않은 화자에 대해 뛰어난 성능을 보이며, 사전 학습된 SSF의 중요성을 확인한다.
• 객관적 평가 결과, VCTK에서 99.50%의 SV 정확도, LibriSpeech에서는 98.79%의 정확도를 기록하여 강력한 화자 유사성과 미리 보지 않은 화자에 대한 강건성을 입증했다.
• MediumVC는 VCTK, LibriSpeech, VCC2020 등 다양한 데이터셋에서 높은 성능을 유지하며, 볼드 화자 외의 일반화 능력을 입증했다.
• 성능 향상의 핵심 요인은 사전 학습된 화자 인코더나 이산 임bedding이 아닌, 비대칭 재구성과 SSF를 통한 강건한 특징 분리이다.