[논문 리뷰] UniCATS: A Unified Context-Aware Text-to-Speech Framework with Contextual VQ-Diffusion and Vocoding

Chenpeng Du, Yiwei Guo외 7명|arXiv (Cornell University)|2023. 06. 13.

Speech Recognition and Synthesis참고 문헌 34인용 수 4

한 줄 요약

UniCATS는 의미 토큰 생성을 위한 맥락 기반 VQ-디퓨전과 웨이브포맷 합성을 위한 맥락 기반 보크오딩을 사용하는 통합적이고 맥락 인식형 음성 합성 프레임워크를 제안한다. 이는 제로샷 스피커 적응형 음성 이어짐과 맥락 인식 음성 편집에서 최고 성능을 달성한다. 자동회귀 모델의 한계와 코덱 품질 제약을 동시에 극복하기 위해 좌우 맥락을 함께 모델링하고, 이전 방법들보다 개선된 재합성 품질을 제공한다.

ABSTRACT

The utilization of discrete speech tokens, divided into semantic tokens and acoustic tokens, has been proven superior to traditional acoustic feature mel-spectrograms in terms of naturalness and robustness for text-to-speech (TTS) synthesis. Recent popular models, such as VALL-E and SPEAR-TTS, allow zero-shot speaker adaptation through auto-regressive (AR) continuation of acoustic tokens extracted from a short speech prompt. However, these AR models are restricted to generate speech only in a left-to-right direction, making them unsuitable for speech editing where both preceding and following contexts are provided. Furthermore, these models rely on acoustic tokens, which have audio quality limitations imposed by the performance of audio codec models. In this study, we propose a unified context-aware TTS framework called UniCATS, which is capable of both speech continuation and editing. UniCATS comprises two components, an acoustic model CTX-txt2vec and a vocoder CTX-vec2wav. CTX-txt2vec employs contextual VQ-diffusion to predict semantic tokens from the input text, enabling it to incorporate the semantic context and maintain seamless concatenation with the surrounding context. Following that, CTX-vec2wav utilizes contextual vocoding to convert these semantic tokens into waveforms, taking into consideration the acoustic context. Our experimental results demonstrate that CTX-vec2wav outperforms HifiGAN and AudioLM in terms of speech resynthesis from semantic tokens. Moreover, we show that UniCATS achieves state-of-the-art performance in both speech continuation and editing.

연구 동기 및 목표

• 자기회귀 모델이 음성 편집에서 앞서오는 맥락과 뒤이어 오는 맥락이 모두 이용 가능한 상황에서 겪는 한계를 해결하기 위해.
• 기존 이산 토큰 TTS 시스템에서 음성 코덱 성능이 초래하는 음성 품질 제약을 극복하기 위해.
• 이어짐과 편집 작업 모두에서 자연스러움과 스피커 정체성을 유지하는 원활하고 맥락 인식형 합성을 가능하게 하기 위해.
• 공유된 구성 요소를 가진 단일 프레임워크 안에서 음성 이어짐과 편집 파이프라인을 통합하기 위해.

제안 방법

• UniCATS는 이중 단계 프레임워크를 사용한다: 텍스트에서 맥락 기반 VQ-디퓨전 기반 의미 토큰 예측을 위한 CTX-txt2vec와 토큰을 웨이브포맷으로 변환하기 위한 CTX-vec2wav이다.
• CTX-txt2vec는 텍스트 인코더로 Conformer 기반 모델과 지속시간 예측기(-duration predictor)를 사용하여 VQ-디퓨전을 음성적, 억양적 맥락에 따라 조건화함으로써 양방향 맥락 통합을 가능하게 한다.
• CTX-txt2vec 내의 VQ-디퓨전 모델은 지속시간 예측과 VQ-디퓨전 재구성의 가중 손실를 결합하여 훈련함으로써 고해상도 의미 토큰 생성이 가능하다.
• CTX-vec2wav는 의미 토큰과 주변 맥락을 조건으로 하여 조건부 웨이브포맷 생성을 수행하며, 스피커 정체성과 음성 연속성을 모델링한다.
• 훈련 중 데이터는 무작위로 맥락 A, 타겟 세그먼트 x₀, 맥락 B로 분할되며, x₀는 디퓨전 과정을 통해 손상되어 노이즈 제거 훈련이 가능하도록 한다.
• 음성 편집을 위한 추론은 x_T에서 x₀로 향하는 반복적 역노이즈 처리를 수행하며, 맥락 A와 B에 의해 유도되며, 지속시간 스케일링을 통해 맥락 속도에 맞춘다.

실험 결과

연구 질문

• RQ1 통합 TTS 프레임워크가 이산 의미 토큰을 사용하여 음성 이어짐과 편집 작업을 효과적으로 처리할 수 있는가?
• RQ2 기본 자기회귀 모델과 비교해 맥락 기반 VQ-디퓨전이 생성 품질 향상과 맥락 통합에 얼마나 기여하는가?
• RQ3 기본 보크오딩과 비교해 맥락 기반 보크오딩이 웨이브포맷 품질 향상과 스피커 정체성 유지에 얼마나 기여하는가?
• RQ4 이 프레임워크는 제로샷 스피커 적응 및 맥락 인식 편집에서 최고 성능을 달성할 수 있는가?

주요 결과

• CTX-vec2wav는 의미 토큰에서의 음성 재합성에서 HifiGAN과 AudioLM를 능가하여 웨이브포맷 품질이 뛰어나다는 것을 입증하였다.
• UniCATS는 VALL-E와 SPEAR-TTS와 같은 모델들을 능가하는 제로샷 스피커 적응형 음성 이어짐에서 최고 성능을 달성하였다.
• 이 프레임워크는 자연스럽고 원활한 연결을 유지하면서도 맥락 인식 음성 편집을 성공적으로 구현하였다.
• 맥락 기반 VQ-디퓨전의 사용은 자기회귀 모델의 좌측에서 우측으로의 생성 제약을 극복하기 위해 이중 맥락 모델링이 가능하게 하였다.
• 세 가지 데이터 구성(양측 맥락 모두, 맥락 A만, 맥락 없음)을 사용한 훈련 체계는 일반화 능력과 강인성을 향상시켰다.
• 추론 알고리즘은 앞서오는 맥락과 뒤이어 오는 맥락을 조건으로 하여 편집된 음성을 성공적으로 생성하였으며, 스케일링 인자 α를 통해 지속시간을 정렬하였다.