[논문 리뷰] VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention

Peng Liu, Yuewen Cao외 5명|arXiv (Cornell University)|2021. 02. 12.

Speech Recognition and Synthesis참고 문헌 40인용 수 15

한 줄 요약

VARA-TTS는 텍스트-음성 일치의 거친 것에서부터 세밀한 것까지 계층적이고 계층별로 개선하는 것을 가능하게 하는 매우 깊은 변동형 오토인코더(VDVAE)와 잔차 주의 메커니즘을 사용하는 비자기적 텍스트-음성 합성 모델이다. 이는 타코트론 2보다 16배 빠른 추론 속도를 달성하면서도, BVAE-TTS와 같은 유사한 비자기적 모델들보다 뛰어난 음성 품질을 유지하며, 계층적 잠재 쿼리와 통합된 말하기 속도 예측기 덕분에 일치의 강건성을 향상시킨다.

ABSTRACT

This paper proposes VARA-TTS, a non-autoregressive (non-AR) text-to-speech (TTS) model using a very deep Variational Autoencoder (VDVAE) with Residual Attention mechanism, which refines the textual-to-acoustic alignment layer-wisely. Hierarchical latent variables with different temporal resolutions from the VDVAE are used as queries for residual attention module. By leveraging the coarse global alignment from previous attention layer as an extra input, the following attention layer can produce a refined version of alignment. This amortizes the burden of learning the textual-to-acoustic alignment among multiple attention layers and outperforms the use of only a single attention layer in robustness. An utterance-level speaking speed factor is computed by a jointly-trained speaking speed predictor, which takes the mean-pooled latent variables of the coarsest layer as input, to determine number of acoustic frames at inference. Experimental results show that VARA-TTS achieves slightly inferior speech quality to an AR counterpart Tacotron 2 but an order-of-magnitude speed-up at inference; and outperforms an analogous non-AR model, BVAE-TTS, in terms of speech quality.

연구 동기 및 목표

• 타코트론 2와 같은 자기적 TTS 모델의 느린 추론 속도와 강건성 문제를 해결하기 위해.
• 종합적 프레임워크에 일치 학습을 통합하여 비자기적 TTS에서 발생하는 학습-추론 불일치 문제를 해결하기 위해.
• 계층적 VAE 잠재변수를 쿼리로 활용하고 계층별로 일치를 개선함으로써 비자기적 TTS에서의 일치 학습을 향상시키기 위해.
• 통합된 말하기 속도 예측기와 상세한 KL 이득 스케줄링을 통해 모델의 강건성과 음성 품질을 향상시키기 위해.

제안 방법

• 멀티스케일 시간 해상도에서 계층적 잠재변수를 생성하는 하향식 및 상향식 경로를 갖는 매우 깊은 VAE(비디오 VAE, VDVAE)를 사용하여 멜-스펙트로그램을 모델링한다.
• 이 계층적 잠재변수를 잔차 주의 메커니즘에서 쿼리로 사용하여, 계층 간에 거친 것에서부터 세밀한 정도로의 일치를 개선한다.
• 각 계층이 이전 계층의 일치를 보조 입력으로 사용하여 개선된 일치를 생성하는 잔차 주의 모듈을 도입함으로써, 개별 계층의 부담을 줄인다.
• 각 계층의 KL 가중치를 조정하여 깊은 VAE 계층에서 후행 분포 붕괴를 방지하기 위해 상세한 쿨백-라이블러(KL) 이득 메커니즘을 적용한다.
• 평균 풀링된 가장 거친 계층의 잠재변수를 사용하여 통합된 문장 수준의 말하기 속도 예측기를 도입하여, 프레임 수를 예측한다.
• 모델 전체를 단일 목표 함수로 종단간 훈련하여 별도의 지속 시간 모듈을 피하고 학습과 추론 간 불일치를 줄인다.

실험 결과

연구 질문

• RQ1 비자기적 TTS 모델은 자기적 모델보다 10배 이상의 추론 속도 향상을 유지하면서도 고품질 음성 합성을 달성할 수 있는가?
• RQ2 계층적 VAE 잠재변수는 비자기적 TTS에서 주의 기반 일치에 효과적이고 정보적인 쿼리로 기능할 수 있는가?
• RQ3 거친 것에서부터 세밀한 것까지 계층별로 잔차 주의 메커니즘을 사용하는 것이 단일 주의 메커니즘에 비해 일치의 강건성과 음성 품질을 향상시키는가?
• RQ4 주요 모델과 함께 말하기 속도 예측기를 통합적으로 훈련시키면 추론 오차를 줄이고 일반화 성능을 향상시킬 수 있는가?
• RQ5 상세한 KL 이득 스케줄링은 깊은 VAE 계층에서 후행 분포 붕괴를 방지하고 잠재 표현 품질을 향상시키는가?

주요 결과

• VARA-TTS는 평균 관점 평가 점수(MOS) 3.88±0.20을 기록하여 BVAE-TTS(3.33±0.18)를 능가하면서도 유사한 추론 속도를 유지한다.
• 모델은 타코트론 2 대비 16배 더 빠른 추론 속도를 달성했으며, 단일 RTX 2080 Ti GPU에서 문장당 32.01ms의 추론 속도를 기록했다.
• 말하기 속도 예측기를 통합적으로 훈련시킴으로써 검증 세트에서 말하기 속도 오차가 감소하여 그 효과가 입증되었다.
• 상세한 KL 이득 메커니즘이 후행 분포 붕괴를 성공적으로 방지했으며, 모든 계층에서 매끄럽고 평탄하지 않은 누적 KL 곡선이 관찰되었다.
• 시각화 결과는 상세한 KL 이득을 사용할 경우 가장 거친 계층에서 더 명확하고 구조화된 일치가 나타남을 보여주어 의미 있는 잠재 표현을 의미한다.
• 모델은 다중 화자 설정으로의 확장성이 있으며 직접 텍스트-웨이브폼 합성 가능성도 보여주지만, 初期 실험에서 최적화가 여전히 도전 과제로 남아 있다.