[논문 리뷰] VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture

Da-Yi Wu, Yen‐Hao Chen외 1명|arXiv (Cornell University)|2020. 06. 07.

Speech and Audio Processing참고 문헌 27인용 수 15

한 줄 요약

이 논문은 고해상도, 분리된 화자 및 콘텐츠 표현을 달성하기 위해 U-Net 아키텍처와 벡터 양자화(VQ)를 결합한 one-shot 음성 변환 방법인 VQVC+를 제안한다. U-Net의 스킵 커넥션과 VQ의 강력한 정보 병목 현상 덕분에, 모델은 AutoVC 및 Chou 등과 비교해 객관적 및 주관적 평가에서 모두 뛰어난 성능을 보이며, 특히 미리보지 않은 화자에 대해 최신 기술 수준의 성과를 달성한다.

ABSTRACT

Voice conversion (VC) is a task that transforms the source speaker's timbre, accent, and tones in audio into another one's while preserving the linguistic content. It is still a challenging work, especially in a one-shot setting. Auto-encoder-based VC methods disentangle the speaker and the content in input speech without given the speaker's identity, so these methods can further generalize to unseen speakers. The disentangle capability is achieved by vector quantization (VQ), adversarial training, or instance normalization (IN). However, the imperfect disentanglement may harm the quality of output speech. In this work, to further improve audio quality, we use the U-Net architecture within an auto-encoder-based VC system. We find that to leverage the U-Net architecture, a strong information bottleneck is necessary. The VQ-based method, which quantizes the latent vectors, can serve the purpose. The objective and the subjective evaluations show that the proposed method performs well in both audio naturalness and speaker similarity.

연구 동기 및 목표

• 비평행 훈련 데이터가 없는 조건에서 고음질 one-shot 음성 변환을 해결하기 위해.
• 오토에인코더 기반 음성 변환 시스템에서 화자 및 콘텐츠 표현의 분리성을 향상시키기 위해.
• U-Net을 VQ와 통합하여, 특히 미리보지 않은 화자에 대해 음성 자연성과 화자 유사성을 향상시키기 위해.
• VQ가 강력한 정보 병목 현상을 제공함으로써 U-Net이 재구성에 과적합되지 않고 잘 일반화될 수 있음을 보여주기 위해.
• 자기 재구성에 기반한 화자 임베딩이 명시적 화자 감독 없이도 제로샷 음성 변환에 효과적으로 기능할 수 있음을 보여주기 위해.

제안 방법

• 모델은 인코더와 디코더 레이어 간의 스킵 커넥션을 갖춘 U-Net 기반 오토에인코더를 사용하여 세밀한 스펙트로그램 세부 정보를 유지한다.
• 잠재 표현에 벡터 양자화(VQ)를 적용하여 이산 코드북을 생성함으로써 강력한 정보 병목 현상을 유도하고, 분리성을 촉진한다.
• 화자 임베딩은 연속 잠재 벡터와 그 양자화된 대응 벡터의 차이의 전 시간 평균으로 유도된다: $\vec{s} = \mathbb{E}_t[\vec{V} - \vec{C}]$, 이후 차원 일치를 위해 시간에 따라 반복된다.
• 콘텐츠 및 화자 임베딩은 $\vec{C} + \vec{S}$로 결합되어 디코더를 통해 입력 음성의 재구성을 수행한다.
• 모델은 적대적 손실이나 명시적 화자 손실 없이 자기 재구성 손실만으로 훈련된다: $L_{rec} = \mathbb{E}[||\hat{\vec{X}} - \vec{X}||_1]$.
• 훈련 안정성 향상과 분리성 향상을 위해 양자화 이전에 인스턴스 정규화를 적용한다.

Figure 1: The VQVC architecture. VQ is the vector quantization layer, and IN is the instance normalization layer. VQVC applies IN+VQ layers to separate the content and the speaker information to achieve voice conversion.

실험 결과

연구 질문

• RQ1 U-Net 아키텍처는 분리성에 손상을 주지 않으면서 one-shot 음성 변환에 효과적으로 활용될 수 있는가?
• RQ2 벡터 양자화가 U-Net이 재구성에 과적합되지 않도록 방지하기에 충분한 정보 병목 현상으로 기능하는가?
• RQ3 자기 재구성 손실과 VQ만으로도 화자 임베딩을 콘텐츠 표현에서 효과적으로 분리할 수 있는가?
• RQ4 제안된 방법은 특히 미리보지 않은 화자에 대해 음성 품질과 화자 유사성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 U-Net과 VQ의 조합은 AutoVC 및 Chou 등 기존 오토에인코더 기반 방법보다 주관적 및 객관적 평가에서 뛰어나지 않는가?

주요 결과

• VQVC+는 미리보지 않은 화자(”-U”)에 대해 평균 평가 점수(MOS) 4.48을 기록하여, 음성 자연성에서 AutoVC(4.21)와 Chou 등(4.32)을 능가한다.
• 화자 유사성 측면에서 VQVC+는 미리보지 않은 화자에 대해 MOS 4.51을 기록하여, AutoVC(4.24)와 Chou 등(4.35)을 초월한다.
• 쌍대 비교 평가에서, VQVC+는 미리보지 않은 화자에 대해 자연성 측면에서 72.5%의 경우, 화자 유사성 측면에서 74.1%의 경우 기준선보다 선호되었다.
• S₀에서 유래한 임베딩에 대한 화자 분류기 정확도는 98.3%에 도달하여, 학습된 임베딩에 강력한 화자 관련성이 있음을 시사한다.
• VQ와 U-Net을 갖춘 모델(Q64)은 S₀에서 화자 식별 정확도 98.3%를 기록했으며, 양자화 없이 인스턴스 정규화만 적용한 IN-유일 버전은 97.4%에 머물러 VQ가 분리성을 향상시킨다는 것을 보여준다.
• 주관적 평가 결과, VQVC+는 기준선 대비 더 나은 일반화 능력을 보이며, one-shot 음성 변환에서 뛰어난 내재적 강건성을 입증한다.

Figure 2: The VQVC+ architecture. VQVC+ applies the U-Net architecture to improve quality, and each sub-module in the encoder is a variant of the VQVC encoder. Quantized output $\vec{C}$ and the speaker embedding $\vec{S}$ are skip-connected to the decoder instead of the continuous embedding $\vec{V