[논문 리뷰] ResGrad: Residual Denoising Diffusion Probabilistic Models for Text to Speech

Zehua Chen, Yihan Wu외 10명|arXiv (Cornell University)|2022. 12. 30.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

ResGrad는 기존 TTS 모델(예: FastSpeech 2)의 출력과 진짜 멜스펙트로그램 사이의 잔차를 학습함으로써 텍스트-to-음성 합성 품질을 향상시키는 경량 잔차 노이즈 제거 확산 모델을 제안한다. 이로 인해 기존 확산 방법보다 10배 이상 빠른 추론 속도를 달성하면서도 샘플 품질을 유지하거나 향상시켜 고해상도 음성 생성이 가능하다.

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) are emerging in text-to-speech (TTS) synthesis because of their strong capability of generating high-fidelity samples. However, their iterative refinement process in high-dimensional data space results in slow inference speed, which restricts their application in real-time systems. Previous works have explored speeding up by minimizing the number of inference steps but at the cost of sample quality. In this work, to improve the inference speed for DDPM-based TTS model while achieving high sample quality, we propose ResGrad, a lightweight diffusion model which learns to refine the output spectrogram of an existing TTS model (e.g., FastSpeech 2) by predicting the residual between the model output and the corresponding ground-truth speech. ResGrad has several advantages: 1) Compare with other acceleration methods for DDPM which need to synthesize speech from scratch, ResGrad reduces the complexity of task by changing the generation target from ground-truth mel-spectrogram to the residual, resulting into a more lightweight model and thus a smaller real-time factor. 2) ResGrad is employed in the inference process of the existing TTS model in a plug-and-play way, without re-training this model. We verify ResGrad on the single-speaker dataset LJSpeech and two more challenging datasets with multiple speakers (LibriTTS) and high sampling rate (VCTK). Experimental results show that in comparison with other speed-up methods of DDPMs: 1) ResGrad achieves better sample quality with the same inference speed measured by real-time factor; 2) with similar speech quality, ResGrad synthesizes speech faster than baseline methods by more than 10 times. Audio samples are available at https://resgrad1.github.io/.

연구 동기 및 목표

• 텍스트-to-음성(TTS) 합성에서 잔차 노이즈 제거 확산 확률 모델(DDPMs)의 느린 추론 속도 문제를 해결하여 실시간 배포를 가능하게 한다.
• DDPMs가 모델링해야 할 데이터 공간의 복잡도를 줄이기 위해, 원시 음성 대신 TTS 모델의 출력과 진짜 값 사이의 잔차로 생성 목표를 이동시킨다.
• 재학습 없이도 기존 TTS 모델에 즉각 통합할 수 있도록 플러그 앤 플레이 설계를 제공하여 샘플 품질을 향상시키면서도 계산 오버헤드를 최소화한다.
• 경량 확산 모델을 사용해 잔차 데이터를 훈련함으로써 작은 실시간 요소로 고해상도 음성 생성을 달성한다.

제안 방법

• 기존 TTS 모델(예: FastSpeech 2)이 생성한 멜스펙트로그램과 해당 진짜 멜스펙트로그램 사이의 잔차를 예측하도록 ResGrad라는 확산 모델을 훈련한다.
• 잔차 공간을 효율적으로 모델링하기 위해 잔차 컨볼루션과 스킵 연결을 갖춘 경량 U-Net 기반 아키텍처를 사용한다.
• 추론 과정에서 ResGrad의 노이즈 제거된 잔차 출력을 원본 TTS 모델의 멜스펙트로그램에 더하여 최종 스펙트로그램을 개선한다.
• 소수의 추론 단계(예: 4–50)로 노이즈에서 깔끔한 잔차 신호를 생성하기 위해 노이즈 제거 확산 과정을 적용함으로써 빠른 추론을 가능하게 한다.
• 잔차 공간이 전체 멜스펙트로그램 공간보다 덜 복잡하므로, 더 작은 모델과 더 적은 단계로도 고품질 결과를 달성할 수 있다.
• 기본 TTS 시스템을 재학습할 필요 없이 어떤 기존 TTS 모델과도 호환되는 플러그 앤 플레이 설계를 통해 보장한다.

실험 결과

연구 질문

• RQ1 TTS 모델의 출력과 진짜 멜스펙트로그램 사이의 잔차를 모델링하면 확산 모델링의 복잡도를 줄이고 추론 속도를 높일 수 있는가?
• RQ2 잔차 데이터로 훈련된 경량 확산 모델이 동일한 추론 속도에서 전체 스펙트럼 확산 모델보다 더 높은 샘플 품질을 달성할 수 있는가?
• RQ3 ResGrad는 단일 발화자, 다중 발화자, 고샘플링 레이트 설정을 포함한 다양한 TTS 데이터셋에 효과적으로 적용될 수 있는가?
• RQ4 모델 크기, 추론 속도, 음성 품질 측면에서 기존 잔차 기반 모델(예: ResUNet)과 비교해 ResGrad의 성능은 어떠한가?
• RQ5 잔차 학습 접근법이 실시간 요소를 줄이면서도 청취자 인식 품질(예: CMOS)을 유지하거나 향상시키는 데 얼마나 기여하는가?

주요 결과

• ResGrad는 동일한 실시간 요소(RTF)에서 기준 속도 향상 방법보다 더 높은 샘플 품질을 달성하며, LJ Speech에서 CMOS 점수 0.00, LibriTTS에서 0.00을 기록하여 동일한 추론 속도에서 다른 방법들을 능가한다.
• 유사한 음성 품질(CMOS ≈ 0.00)을 유지하면서도, 기준 확산 모델 대비 추론 시간을 10배 이상 단축시켜 LibriTTS에서 RTF 0.223, VCTK에서 0.244를 달성한다.
• ResGrad의 모델 크기는 단지 2.03M 파라미터로, ResUNet(31.8M)보다 훨씬 작지만 더 나은 CMOS 성능을 달성하여 뛰어난 효율성과 효과성을 입증한다.
• 사례 연구 결과, ResGrad는 FastSpeech 2가 과도하게 매끄럽게 만드는 경향이 있는 것과는 달리 더 세밀한 주파수 성분을 가진 멜스펙트로그램을 생성함으로써 더 표현력 있고 자연스러운 음성을 생성한다.
• 더 큰 확산 모델(ResGrad-L, 7.68M 파라미터)을 사용할 경우에도 작은 ResGrad에 비해 성능 향상이 미미하여, 잔차 학습을 사용할 경우 모델 크기의 영향은 성능에 제한적임을 시사한다.
• 단지 4단계의 추론 단계만으로도 청취자에게 깔끔한 잔차 신호를 생성할 수 있었으며, 이는 잔차 공간의 복잡도가 낮아서 최소한의 단계로도 고품질 결과를 달성할 수 있음을 보여준다.