[논문 리뷰] NoiseVC: Towards High Quality Zero-Shot Voice Conversion

Shijun Wang, Damian Borth|arXiv (Cornell University)|2021. 04. 13.

Speech Recognition and Synthesis참고 문헌 30인용 수 6

한 줄 요약

NoiseVC는 벡터 양자화(VQ)와 대비 예측 코드(CPC)를 사용하여 언어적 내용과 화자 특성을 분리하는 제로샷 음성 변환 모델을 제안한다. 노이즈 증강을 통해 성능을 향상시켰으며, 병렬 데이터, 사전 학습 모델, 텍스트 전사 없이도 높은 품질의 음성 변환을 달성한다. 큰 코드북을 사용하더라도 강력한 분리성과 음성 품질을 유지한다.

ABSTRACT

Voice conversion (VC) is a task that transforms voice from target audio to source without losing linguistic contents, it is challenging especially when source and target speakers are unseen during training (zero-shot VC). Previous approaches require a pre-trained model or linguistic data to do the zero-shot conversion. Meanwhile, VC models with Vector Quantization (VQ) or Instance Normalization (IN) are able to disentangle contents from audios and achieve successful conversions. However, disentanglement in these models highly relies on heavily constrained bottleneck layers, thus, the sound quality is drastically sacrificed. In this paper, we propose NoiseVC, an approach that can disentangle contents based on VQ and Contrastive Predictive Coding (CPC). Additionally, Noise Augmentation is performed to further enhance disentanglement capability. We conduct several experiments and demonstrate that NoiseVC has a strong disentanglement ability with a small sacrifice of quality.

연구 동기 및 목표

• 학습 중에 볼 수 없는 원천 및 대상 화자에 대해 제로샷 음성 변환 문제를 해결하기 위해.
• 병렬 데이터나 텍스트 전사에 의존하지 않고 언어적 내용과 화자 특성 간의 분리를 향상시키기 위해.
• 저자원 언어 환경에서도 높은 음성 품질을 유지하면서 강력한 분리성을 확보하기 위해.
• 대비 예측 코드(CPC)와 노이즈 증강이 내용 표현 학습에 어떻게 기여하는지 탐색하기 위해.

제안 방법

• 지속적인 인코더 특징을 이산 잠재 코드로 매핑하기 위해 벡터 양자화(VQ)를 사용하여 내용 표현 학습을 가능하게 한다.
• 과거의 양자화된 코드를 예측함으로써 내용 표현의 강건성을 향상시키기 위해 대비 예측 코드(CPC) 모듈을 활용한다.
• 학습 중에 노이즈가 첨가된 스펙트로그램과 정제된 스펙트로그램을 번갈아가며 화자 인코더에 입력함으로써 노이즈 증강을 적용하여 분리성을 향상시킨다.
• 입력에서 화자 임베딩을 추출하기 위해 화자 인코더를 사용하며, 이를 내용 임베딩과 결합하여 복원에 활용한다.
• 결합된 내용 및 화자 임베딩에서 고해상도 웨이브폼을 재구성하기 위해 다중 스케일 잔여 U-Net 디코더를 사용한다.
• 재구성 손실, VQ 기여 손실, 그리고 CPC에서 유도된 대비 예측 손실을 최적화하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 병렬 데이터나 텍스트 전사에 의존하지 않고도 VQ 기반 음성 변환 모델이 내용과 화자 요소를 강력하게 분리할 수 있는가?
• RQ2 대비 예측 코드(CPC)는 제로샷 음성 변환을 위한 내용 표현 학습에 얼마나 효과적인가?
• RQ3 구속 조건이 없는 상황에서 노이즈 증강이 분리 능력을 향상시키는가?
• RQ4 큰 코드북 크기를 사용함으로써 품질 저하를 방지하면서도 모델이 음성 품질을 얼마나 잘 유지하는가?
• RQ5 사전에 볼 수 없었던 화자에 대해 제로샷 설정에서 모델의 성능은 감독 학습 또는 기존 제로샷 방법보다 얼마나 뛰어나게 되는가?

주요 결과

• 노이즈 증강 없이도 NoiseVC는 내용 임베딩에서 59%의 화자 분류 정확도를 기록하지만, CPC를 추가하면 이는 30%로 감소하여 분리성이 향상됨을 시사한다.
• 노이즈 증강(α = 0.5)을 적용한 경우, 화자 분류 정확도는 22%로 추가로 감소하여 분리성 향상가능성을 입증함과 동시에 재구성 품질을 유지함을 보여준다.
• 사전에 볼 수 없는 화자에 대해 제로샷 변환에서 음성 유사도에 대한 평균 관점 평가(MOS) 점수는 4.2로 기존 베이스라인을 능가한다.
• NoiseVC의 음성 품질 MOS 점수는 약 4.0로 매우 높아, 병렬 데이터나 텍스트 감독 없이도 우수한 청각적 품질을 확보하고 있음을 시사한다.
• t-SNE 시각화 결과, 20명의 사전에 볼 수 없었던 화자들이 화자 임베딩 공간에서 명확한 군집을 형성했으며, 화자 분류 정확도는 98.9%에 이르렀다.
• 큰 코드북을 사용하더라도 재구성 능력이 강력하게 유지되어(낮은 재구성 손실), 제약이 있는 버퍼를 갖는 모델에서 관찰되는 품질 저하 현상이 발생하지 않았다.