[논문 리뷰] Diff-TTS: A Denoising Diffusion Model for Text-to-Speech

Myeonghun Jeong, Hyeongju Kim외 3명|arXiv (Cornell University)|2021. 04. 03.

Speech Recognition and Synthesis참고 문헌 28인용 수 8

한 줄 요약

Diff-TTS는 likelihood 기반 최적화를 통해 텍스트에 조건화된 멜스펙트로그램 분포를 학습하는 노이즈 제거 확산 확률 모델(DDPM) 기반의 비자기적 텍스트-to-스피치 모델을 제안한다. 이는 고해상도, 자연스러운 음성 생성을 가능하게 하며, Tacotron2와 Glow-TTS보다 53% 적은 파rameter를 사용하면서도 실시간 대비 28배 빠른 추론 속도(단일 GPU 기준)를 달성한다.

ABSTRACT

Although neural text-to-speech (TTS) models have attracted a lot of attention and succeeded in generating human-like speech, there is still room for improvements to its naturalness and architectural efficiency. In this work, we propose a novel non-autoregressive TTS model, namely Diff-TTS, which achieves highly natural and efficient speech synthesis. Given the text, Diff-TTS exploits a denoising diffusion framework to transform the noise signal into a mel-spectrogram via diffusion time steps. In order to learn the mel-spectrogram distribution conditioned on the text, we present a likelihood-based optimization method for TTS. Furthermore, to boost up the inference speed, we leverage the accelerated sampling method that allows Diff-TTS to generate raw waveforms much faster without significantly degrading perceptual quality. Through experiments, we verified that Diff-TTS generates 28 times faster than the real-time with a single NVIDIA 2080Ti GPU.

연구 동기 및 목표

• 고자연스러움과 아키텍처 효율성을 동시에 확보하는 비자기적 TTS 모델 개발
• 이미지 및 음성 생성 분야에서 성공한 노이즈 제거 확산 모델을 텍스트-to-스피치 합성에 적용하여 샘플 품질 향상과 학습 안정성 향상
• 재학습 없이도 잠재공간의 분산과 노이즈 스케일링을 통해 조절 가능한 억양 변동성 제공
• 가속화된 추론 기법을 통해 속도를 향상시키면서도 청각적 품질 유지
• 자기적 및 플로우 기반 TTS 모델 대비 음성 품질 손실 없이 모델 크기 감소

제안 방법

• 텍스트 입력에 조건화된 노이즈 신호를 T단계에 걸쳐 멜스펙트로그램으로 변환하는 노이즈 제거 확산 프레임워크 사용
• DDPM 프레임워크에서 유도된 likelihood 기반 최적화 목표함수를 사용하여 보조 손실 없이 모델 학습
• 가우시안 사전 분포에서 시작하여 마르코프 성질을 가진 역확산 과정을 통해 노이즈에서 멜스펙트로그램 생성
• 온도 스케일링 인자 γ를 사용한 디스틸레이션 기반 방법을 통해 가속화된 추론 구현
• 온도 하이퍼파라미터 η를 활용해 잠재공간의 분산과 가산 노이즈를 조절하여 억양 변동성 제어
• 텍스트 임베딩을 참조할 수 있는 크로스 어텐션 메커니즘을 갖춘 U-Net 기반의 노이즈 제거 네트워크 사용

Figure 1: Graphical model for the reverse process and the diffusion process.

실험 결과

연구 질문

• RQ1 노이즈 제거 확산 모델이 높은 청각적 품질을 확보하면서도 비자기적 텍스트-to-스피치 합성에 효과적으로 적용될 수 있는가?
• RQ2 이를 위한 제안된 likelihood 기반 학습 목표함수는 회귀나 플로우 기반 목표함수 대비 음성 품질과 모델 효율성 측면에서 어떻게 비교되는가?
• RQ3 가속화된 추론이 음성 품질에 영향을 주지 않도록 하면서 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 잠재공간의 분산과 노이즈 스케일링을 통해 합성 음성의 억양 변동성을 효과적으로 제어할 수 있는가?
• RQ5 Diff-TTS의 모델 크기는 Tacotron2 및 Glow-TTS와 같은 최신 TTS 모델 대비 어떻게 비교되는가? 이는 고해상도 출력을 유지하면서도 가능한가?

주요 결과

• Diff-TTS는 95% 신뢰구간 ±0.064 내에서 평균 평가 점수(MOS) 4.337을 기록하며, Tacotron2(4.006)와 Glow-TTS(4.160)를 초월한다. 이는 1340만 개의 파rameter(양자 모두 대비 53% 감소)로도 달성된 결과다.
• 가속화된 추론(γ=57)을 적용한 결과, 단일 NVIDIA 2080Ti GPU에서 추론 속도가 0.035 RTF(실시간 대비 28배 빠름)에 도달했으며, 이는 Tacotron2 수준의 MOS를 유지한다.
• 샘플링 파ram터 γ를 조절함으로써 추론 속도를 조절 가능하며, 계산 자원 제약에 따라 품질과 속도 간 트레이드오���을 설정할 수 있다.
• 온도 항수 η를 통해 억양 변동성이 제어 가능하다: 높은 값(예: η=0.6)은 음성의 높낮이 변화와 다양성을 증가시키되, 품질 저하 없이 유지된다.
• 고가속도 수준에서도 모델은 높은 청각적 품질을 유지한다. γ=1일 때 MOS 4.337에서 γ=57일 때 4.091로 약간 감소하나, 이는 속도 향상에 대한 강건성을 시사한다.
• Diff-TTS는 확산 모델이 안정적인 학습, 유연한 아키텍처 설계, 뛰어난 파rameter 효율성과 함께 TTS에 효과적으로 적용될 수 있음을 입증한다.

Figure 2: Graphical model for the accelerated sampling with $\gamma=1,2,3$ .