[논문 리뷰] Improving Zero-shot Voice Style Transfer via Disentangled Representation Learning

Siyang Yuan, Pengyu Cheng외 4명|arXiv (Cornell University)|2021. 03. 17.

Speech Recognition and Synthesis참고 문헌 53인용 수 27

한 줄 요약

IDE-VC는 정보 이론에 기반한 disentangled 임베딩을 제안하여 제로샷 및 다-대-다 음성 스타일 전달의 성능을 향상시키고 VCTK에서 기반 모델보다 우수합니다.

ABSTRACT

Voice style transfer, also called voice conversion, seeks to modify one speaker's voice to generate speech as if it came from another (target) speaker. Previous works have made progress on voice conversion with parallel training data and pre-known speakers. However, zero-shot voice style transfer, which learns from non-parallel data and generates voices for previously unseen speakers, remains a challenging problem. We propose a novel zero-shot voice transfer method via disentangled representation learning. The proposed method first encodes speaker-related style and voice content of each input voice into separated low-dimensional embedding spaces, and then transfers to a new voice by combining the source content embedding and target style embedding through a decoder. With information-theoretic guidance, the style and content embedding spaces are representative and (ideally) independent of each other. On real-world VCTK datasets, our method outperforms other baselines and obtains state-of-the-art results in terms of transfer accuracy and voice naturalness for voice style transfer experiments under both many-to-many and zero-shot setups.

연구 동기 및 목표

• 제로샷 음성 스타일 전달을 비비쥬얼 데이터에서의 데이터 없이 동기화하고 다대다 시나리오를Motivate
• 임베딩에서 스타일과 내용을 분리하는 disentangled 표현 학습 프레임워크 제안
• 스타일과 콘텐츠 간 독립성을 촉진하기 위한 상호 정보 한계를 포함
• 학습된 스타일 표현을 안정화시키기 위한 화자 정체성의 감독 신호 활용
• 이전 엔코더-디코더 VST 모델 대비 향상된 전송 품질과 자연스러움 제공

제안 방법

• 입력 음성 x를 스타일 임베딩 s = E_s(x)와 콘텐츠 임베딩 c = E_c(x)로 인코딩합니다.
• D(s, c)를 통해 소스 콘텐츠와 대상 스타일을 결합하여 재구성 또는 대상 스타일로 전송합니다.
• s와 c의 혼합을 해석하기 위한 I(s; c), I(x; c|s), 그리고 I(u; s)에 대한 상한/하한을 이용해 상호 정보 기반 목표를 최소화합니다.
• 스타일 일관성과 콘텐츠 보존을 강화하기 위한 두 가지 새로운 다중 그룹 MI 한계를 도입합니다(정리 3.1 및 정리 3.2).
• 신경망 q_theta(s|c)로 알려지지 않은 조건부 p(s|c)을 근사화하여 I(s; c)를 한정하고 E_s, E_c, D, q_theta를 차례로 학습합니다.
• 사전 학습된 GE2E 기반 스타일 인코더 초기화 및 WaveNet 보코더를 음향 파형 합성에 사용합니다.

실험 결과

연구 질문

• RQ1 비병렬 데이터 하에서 disentangled 스타일과 콘텐츠 표현으로 제로샷 음성 스타일 전달을 신뢰성 있게 달성할 수 있는가?
• RQ2 MI 기반 disentanglement 한계가 이전 인코더-디코더 접근법에 비해 전달 정확도와 자연성을 향상시키는가?
• RQ3 VCTK에서 다중-다중 및 제로샷 VST 설정에서 IDE-VC의 성능은 베이스라인에 비해 어떤가?
• RQ4 학습된 스타일 임베딩이 화자 정체성과 concordant하게 정렬되며 콘텐츠 임베딩은 화자 불변성을 유지하는가?
• RQ5 제안된 MI 한계가 엔드-투-엔드 모델 학습에서 실제로 추정 가능하고 도움이 되는가?

주요 결과

• IDE-VC는 다대다 VST에서 객관적 및 주관적 지표 모두에서 베이스라인(StarGAN, Blow, AUTOVC, AdaIN-VC)을 능가합니다.
• 제로샷 VST: IDE-VC는 모든 보고된 지표에서 AUTOVC 및 AdaIN-VC를 능가합니다.
• 스타일 임베딩은 화자별로 군집하고 콘텐츠 임베딩은 화자에 불변합니다(t-SNE 시각화).
• 콘텐츠 임베딩은 베이스라인보다 화자 아이덴티티 예측 가능성이 낮아 disentanglement가 더 잘 이루어짐을 시사합니다.
• 결손 연구에서 MI 기반 항을 제거하면 전송 품질이 저하되어 disentanglement 손실의 중요성을 확인합니다.