[논문 리뷰] Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior

Guangzhi Sun, Zhang Yu외 6명|arXiv (Cornell University)|2020. 02. 06.

Speech Recognition and Synthesis인용 수 15

한 줄 요약

이 논문은 텍스트-to-스피치(TTS) 샘플을 다양하고 자연스럽게 생성하기 위해 이산 잠재 코드에 대한 자동회귀(AR) 사전분포를 갖는 양자화된 미세한 분할 변분 오토인코더(QFVAE)를 제안한다. 벡터 양자화를 통해 프로소디와 관련된 잠재 특징을 이산화하고 별도의 AR 사전분포로 시간적 의존성을 모델링함으로써, 표준 VAE보다 음성 자연도가 크게 향상되면서도 다양성을 유지하며, 자동 음성 인식(ASR)을 위한 데이터 증강에 유용함을 보여준다.

ABSTRACT

Recent neural text-to-speech (TTS) models with fine-grained latent features enable precise control of the prosody of synthesized speech. Such models typically incorporate a fine-grained variational autoencoder (VAE) structure, extracting latent features at each input token (e.g., phonemes). However, generating samples with the standard VAE prior often results in unnatural and discontinuous speech, with dramatic prosodic variation between tokens. This paper proposes a sequential prior in a discrete latent space which can generate more naturally sounding samples. This is accomplished by discretizing the latent features using vector quantization (VQ), and separately training an autoregressive (AR) prior model over the result. We evaluate the approach using listening tests, objective metrics of automatic speech recognition (ASR) performance, and measurements of prosody attributes. Experimental results show that the proposed model significantly improves the naturalness in random sample generation. Furthermore, initial experiments demonstrate that randomly sampling from the proposed model can be used as data augmentation to improve the ASR performance.

연구 동기 및 목표

• 각 음소에서 독립적인 잠재 사전분포를 갖는 표준 VAE 기반 TTS 모델에서 비자연스럽고 끊어진 음성이 발생하는 문제를 해결하기 위해.
• 이산 잠재 코드에 대한 구조적 사전분포를 통해 프로소디의 시간적 의존성을 모델링하여 샘플의 자연도를 향상시키기 위해.
• 다양한 TTS로 생성된 샘플을 데이터 증강에 활용하여 ASR의 강인성과 일반화 능력을 향상시키는 것을 탐색하기 위해.
• 연속 및 이산 잠재 공간에서의 서로 다른 사전분포 전략(독립적 vs. 자동회귀적)에 따른 자연도와 다양성 간의 상충관계를 평가하기 위해.

제안 방법

• 정렬된 타겟 스펙트로그램에서 음소 수준의 프로소디 표현을 추출하기 위해 타코트론 2에 미세한 분할 VAE를 통합한다.
• 연속 잠재 특징을 고정된 코드북 벡터 집합으로 이산화하기 위해 벡터 양자화(VQ)를 적용하여 이산 잠재 공간 모델링을 가능하게 한다.
• 학습 데이터에서 추출한 VQ-임bedded 잠재 시퀀스에 대해 별도의 자동회귀 사전분포 모델을 훈련시어 시간적 의존성을 캡처한다.
• 이중 단계 훈련 방식을 사용한다: 첫 번째로, 교사 강제 기반 TTS 모델을 학습시켜 진짜 스펙트로그램을 재구성하고; 두 번째로, VAE 사후 코드에 대해 AR 사전분포를 훈련시킨다.
• 먼저 이산 잠재 공간에서 AR 사전분포로부터 샘플링하고, 그 샘플된 코드를 사용해 TTS 디코더로 복원함으로써 음성을 생성한다.
• 다양한 사전분포 전략(독립 정규 사전분포, 연속 공간에서의 AR 사전분포, 이산 공간에서의 AR 사전분포)을 비교하며 샘플링 스케일과 다양성에 대한 분석을 수행한다.

Fig. 1 : Fine-grained VAE encoder structure. Location-sensitive attention is used to align a reference spectrogram with the encoded phoneme sequence. The latent features $\mathbf{z}$ and encoded phonemes are concatenated and passed to the decoder.

실험 결과

연구 질문

• RQ1 이산 잠재 시퀀스로 프로소디를 모델링하고 자동회귀 사전분포를 적용할 경우, 표준 독립 VAE 사전분포와 비교해 음성 샘플의 자연도가 향상되는가?
• RQ2 미세한 프로소디 잠재 특징의 벡터 양자화는 TTS 생성에서 샘플 다양성과 자연도 간의 상충관계에 어떤 영향을 미치는가?
• RQ3 제안된 모델에서 샘플링을 통해 도출된 다양한 자연스러운 음성이 실제로 ASR 훈련 데이터 증강에 효과적으로 기여하는가?
• RQ4 다양한 사전분포 전략(독립적, 연속 공간에서의 AR, 이산 공간에서의 AR)의 상대적 성능은 음성 품질 및 ASR 이점 측면에서 어떻게 다른가?

주요 결과

• 이산 잠재 공간에서 자동회귀 사전분포를 갖는 제안된 QFVAE는 표준 VAE보다 주관적 청취 테스트에서 음성 자연도를 크게 향상시켰다.
• 독립 사전분포(스케일=1.0)를 갖는 QFVAE를 사용해 LibriTTS 테스트 세트에서 ASR을 훈련시켰을 때 WER가 16.9%를 기록했으며, 베이스라인 TTS 모델(20.0%)을 초월하고 복사-합성 기반 모델에 근접하는 성능을 보였다.
• QFVAE에서 각 전사문에 대해 10개의 다양한 샘플을 사용할 경우 ASR WER가 12.5%로 감소하여, 프로소디 다양성이 데이터 증강 효과를 높임을 입증했다.
• 실제 음성과 QFVAE로 10배 과도하게 증강한 합성 음성의 조합으로 훈련할 경우, 실음성만으로 훈련한 경우에 비해 WER이 16% 상대적으로 감소하여 강력한 데이터 증강 효과를 입증했다.
• 이산 공간에서의 AR 사전분포가 연속 공간에서의 AR 사전분포보다 더 높은 자연도를 달성했으며, 둘 다 독립 샘플링보다 음성 품질 측면에서 뛰어난 성능을 보였다.
• 가장 우수한 성능을 보인 QFVAE 모델은 실음성과 합성 데이터를 함께 훈련시켜 LibriTTS에서 6.0% WER를 기록했으며, 실음성만으로 훈련한 경우(7.2%)를 초월하며 강력한 일반화 능력을 보였다.

Fig. 2 : Illustration of the vector quantization process. The embedding codebook contains $K$ different embeddings $\mathbf{e}_{k}$ . Continuous latents $\mathbf{z}$ are quantized to their nearest neighbors in the codebook by Euclidean distance. The red line shows the straight-through gradient path.