[논문 리뷰] InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt

Dongchao Yang, Songxiang Liu외 3명|arXiv (Cornell University)|2023. 01. 31.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

InstructTTS는 자연어 스타일 프롬프트를 사용하여 음성의 유창성과 감정을 제어하는 새로운 표현형 텍스트투스피치 시스템을 제안한다. 이 시스템은 벡터 양자화된 VQ-VAE를 통해 음성 특징을 이산 잠재 공간에 모델링하고, 이산 확산 모델을 사용하여 음성 토큰을 생성함으로써 고해상도, 다양한, 제어 가능한 음성 합성 성능을 달성한다. 상호정보량 최소화를 통한 스타일 분리 성능 향상도 함께 달성한다.

ABSTRACT

Expressive text-to-speech (TTS) aims to synthesize different speaking style speech according to human's demands. Nowadays, there are two common ways to control speaking styles: (1) Pre-defining a group of speaking style and using categorical index to denote different speaking style. However, there are limitations in the diversity of expressiveness, as these models can only generate the pre-defined styles. (2) Using reference speech as style input, which results in a problem that the extracted style information is not intuitive or interpretable. In this study, we attempt to use natural language as style prompt to control the styles in the synthetic speech, e.g., "Sigh tone in full of sad mood with some helpless feeling". Considering that there is no existing TTS corpus which is proper to benchmark this novel task, we first construct a speech corpus, whose speech samples are annotated with not only content transcriptions but also style descriptions in natural language. Then we propose an expressive TTS model, named as InstructTTS, which is novel in the sense of following aspects: (1) We fully take the advantage of self-supervised learning and cross-modal metric learning, and propose a novel three-stage training procedure to obtain a robust sentence embedding model, which can effectively capture semantic information from the style prompts and control the speaking style in the generated speech. (2) We propose to model acoustic features in discrete latent space and train a novel discrete diffusion probabilistic model to generate vector-quantized (VQ) acoustic tokens rather than the commonly-used mel spectrogram. (3) We jointly apply mutual information (MI) estimation and minimization during acoustic model training to minimize style-speaker and style-content MI, avoiding possible content and speaker information leakage from the style prompt.

연구 동기 및 목표

• 기본 카테고리 레이블이나 참조 발화 없이 장문의 자연어 스타일 프롬프트를 사용하여 사용자가 제어할 수 있는 표현형 TTS를 구현하기 위해.
• 비정형 자연어 프롬프트에서 의미적 스타일 표현을 학습하는 데 도전하는 것.
• 벡터 양자화된 음성 특징을 사용하여 표현형 TTS를 이산 잠재 공간에 모델링함으로써 순서-순서 언어 모델링이 가능한 방법을 제공하기 위해.
• 학습 중 상호정보량을 동시 추정하고 최소화하여 스타일, 내용, 화자 간의 정보 유출을 줄이기 위해.
• 기존의 VALL-E와 유사한 모델들과 달리, 파형 기반 VQ 특징에 대해 비자기적이고 단일 단계 학습 프레임워크를 개발하기 위해.

제안 방법

• 장문의 자연어 스타일 프롬프트로부터 의미를 포착할 수 있는 강력한 문장 임베딩 모델을 훈련하기 위해 삼단계 훈련 절차를 제안한다.
• 사전 훈련된 VQ-VAE를 사용하여 음성 특징을 이산 잠재 공간에 모델링하며, 두 가지 변형을 사용한다: Mel-VQ(멜스펙트로그램 기반)와 Wave-VQ(원시 파형 기반).
• 이산 확산 확률 모델을 새로 개발하여 VQ 토큰을 순차적으로 생성함으로써 음성 합성을 이산 코드북 공간에서의 언어 모델링 작업으로 간주한다.
• 확산 디코더로 U-Transformer 아키텍처를 사용하여 잠재 공간 내 장거리 의존성을 효과적으로 모델링한다.
• 음성 모델 훈련 중에 상호정보량(MI) 추정과 최소화를 동시에 적용하여 스타일 프롬프트에서 내용 및 화자 정보의 유출를 줄인다.
• 확산 훈련을 향상시키기 위해 개선된 마스크-리플레이(I-MAR) 전략을 도입하여 생성 품질과 다양성을 향상시킨다.

Figure 1: (a) shows the model architecture of our proposed InstructTTS. Where SALN denotes the style-adaptive layer normalization adaptor [ 12 ] . (b) shows the details of our proposed style encoder, which aims to extract style features from GT mel-spectrogram (training stage) or style prompt (infer

실험 결과

연구 질문

• RQ1 참조 발화나 사전 정의된 카테고리 레이블 없이 자연어 프롬프트가 표현형 발화 스타일을 효과적으로 제어할 수 있는가?
• RQ2 장문의 자연어 스타일 기술에서 의미적 및 유창성 정보를 포착할 수 있는 강력한 문장 임베딩 모델을 어떻게 훈련할 수 있는가?
• RQ3 VQ-음성 토큰에 기반한 확산 기반 생성 과정을 사용하여 표현형 TTS를 이산 잠재 공간에 효과적으로 모델링할 수 있는가?
• RQ4 멜스펙트로그램과 원시 파형 기반의 서로 다른 VQ 기반 음성 표현 방식이 음성 합성 품질과 훈련 효율성에 어떤 영향을 미치는가?
• RQ5 스타일, 내용, 화자 간의 상호정보량 최소화가 프롬프트 기반 TTS에서 분리성과 일반화 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 I-MAR 확산 전략은 표준 MAR보다 우수한 성능을 보이며, MCD는 0.03 감소(5.68 vs. 5.71), SSIM은 0.02 증가(0.384 vs. 0.364)하였다.
• Wave-VQ-Diffusion 기반 InstructTTS는 STOI 0.615와 FFE 0.23을 기록하여 합성 음성의 높은 이해 가능성과 자연스러움을 입증하였다.
• GRVQ 기반 오디오 코덱은 PESQ 3.63과 STOI 0.95로 최고의 재구성 성능를 기록하여 RVQ와 Encodec를 능가하였다.
• RVQ에서 8개의 코드북을 사용하면 PESQ가 3.54에서 3.54로 향상되었지만, 성능 향상이 코드북 수에 선형적으로 비례하지 않아 모델 용량 제약이 존재함을 시사하였다.
• 동일한 입력으로 10번의 랜덤 추론을 수행한 결과 다양한 F0 곡선이 생성되어 InstructTTS가 자연스러운 유창성 변동을 가진 비결정적이고 다양한 음성을 생성함을 확인하였다.
• 모델은 자연어 프롬프트 제어에 대해 뛰어난 제로샷 일반화 성능를 보이며, 이는 높은 주관적 평가 점수로 입증되었다.

Figure 2: The model architecture of cross-modal representation learning.