Skip to main content
QUICK REVIEW

[논문 리뷰] NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models

Zeqian Ju, Yuancheng Wang|arXiv (Cornell University)|2024. 03. 05.
Speech Recognition and SynthesisComputer Science인용 수 19
한 줄 요약

NaturalSpeech 3는 음성 속성을 분리하고 생성하기 위한 인자 분해 신경 코덱 FACodec과 분해 확산 모델을 도입하여 제로샷 TTS에서 duration, content, prosody, acoustic details, timbre를 분리하고 생성하여 LibriSpeech 다중 화자 데이터에서 최첨단 품질과 사람 수준의 자연스러움을 달성합니다.

ABSTRACT

While recent large-scale text-to-speech (TTS) models have achieved significant progress, they still fall short in speech quality, similarity, and prosody. Considering speech intricately encompasses various attributes (e.g., content, prosody, timbre, and acoustic details) that pose significant challenges for generation, a natural idea is to factorize speech into individual subspaces representing different attributes and generate them individually. Motivated by it, we propose NaturalSpeech 3, a TTS system with novel factorized diffusion models to generate natural speech in a zero-shot way. Specifically, 1) we design a neural codec with factorized vector quantization (FVQ) to disentangle speech waveform into subspaces of content, prosody, timbre, and acoustic details; 2) we propose a factorized diffusion model to generate attributes in each subspace following its corresponding prompt. With this factorization design, NaturalSpeech 3 can effectively and efficiently model intricate speech with disentangled subspaces in a divide-and-conquer way. Experiments show that NaturalSpeech 3 outperforms the state-of-the-art TTS systems on quality, similarity, prosody, and intelligibility, and achieves on-par quality with human recordings. Furthermore, we achieve better performance by scaling to 1B parameters and 200K hours of training data.

연구 동기 및 목표

  • 고품질 제로샷 TTS의 도전을 해결하기 위해 음성을 내용(content), prosody, timbre, 음향 세부 정보(acoustic details) 등의 별도 속성 부분공간으로 분리합니다.
  • 각 속성을 해당 프롬프트에 조건화하여 생성하는 인자 분해 확산 모델을 제안합니다.
  • 다중 화자 데이터에서 인간 수준의 성능에 근접한 품질, 화자 유사성, 억양 및 가독성을 달성하기 위해 최첨단 기준선 대비 향상된 음성 품질을 보여줍니다.

제안 방법

  • 내용, prosody, acoustic details, 그리고 글로벌 timber 벡터를 얻기 위한 컨텐츠, prosody, 음향 세부 정보 및 timbre 추출기에 대해 인자 분해 벡터 양자화를 갖춘 신경 음성 코덱 FACodec를 도입합니다.
  • 콘텐츠, prosody, acoustic details 간의 디 disentangled를 개선하기 위해 정보 병목, 감독 학습, 그래디언트 역전 및 디테일 드롭아웃을 활용합니다.
  • 각 속성에 해당 프롬프트를 조건으로 하여 Duration, Prosody, Content, Acoustic Details를 독립적으로 생성하는 인자 분해 확산 모델을 개발하고, 각 부분공간에서 이산 확산(discrete diffusion)과 추론 시 분류기 없는 가이던스(classifier-free guidance)를 사용합니다.
  • 비자기회귀 생성을 위한 프레임워크를 사용하되, duration 우선 생성 순서와 길이 조절기를 적용하고 FACodec 디코더를 통해 파형을 재구성합니다.
  • Librilight 60k 시간으로 학습하고 LibriSpeech test-clean 및 RAVDESS에서 prosody 테스트를 평가하며, CMOS, SMOS, SIM-O, SIM-R, WER, MCD, MCD-Acc 등의 지표를 사용합니다.

실험 결과

연구 질문

  • RQ1음성을 disentangled한 하위공간으로 분리하는 것이 제로샷 TTS 품질, 유사성 및 억양에 이득을 가져오는가?
  • RQ2인자 분해 확산 생성 접근 방식이 품질과 견고성 면에서 이전 대규모 TTS 방법을 능가하고 다중 화자 데이터에서 인간 수준의 자연스러움을 달성할 수 있는가?

주요 결과

  • NaturalSpeech 3은 LibriSpeech test-clean에서 ground truth에 근접한 CMOS와 baselines 대비 SMOS 개선을 달성합니다.
  • SIM-O 동등성 및 SMOS 개선(+0.16)은 프롬프트에 대한 강한 화자 유사성을 나타냅니다.
  • WER는 해석 가능한 가독성을 유지하며 여러 기준선보다 우수하고 actual ground-truth 성능에 근접합니다.
  • LibriSpeech에서 NaturalSpeech 3은 품질과 유사성에서 ground-truth에 일치하거나 이를 능가하여 제로샷 다중 화자 TTS에서 거의 인간 수준의 성능을 보입니다.
  • RAVDESS 결과에서 MCD, MCD-Acc 및 SMOS가 개선되어 억양 유사성이 우수함을 시사합니다.
  • 1B 매개변수 및 200k 시간으로의 스케일링이 성능을 더욱 향상시킵니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.