[논문 리뷰] Diffsound: Discrete Diffusion Model for Text-to-sound Generation

Dongchao Yang, Jianwei Yu외 5명|arXiv (Cornell University)|2022. 07. 20.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 자연어 설명에서 고음질, 맥락적으로 관련된 음성을 생성하는 데 효과적인 비자기적 이산 확산 모델인 Diffsound을 제안한다. 자동회귀 기반 모델 대비 생성 속도와 품질을 향상시킨다. 이산 확산 기반 반복적 프로세스를 통해 멜스펙트로그램 토큰을 예측하고 개선함으로써 Diffsound는 3.56의 MOS 점수를 기록하고 자동회귀 방법보다 다섯 배 빠른 추론 속도를 달성한다. 이와 동시에 높은 음성 품질과 텍스트-음성 일치도를 유지한다.

ABSTRACT

Generating sound effects that humans want is an important topic. However, there are few studies in this area for sound generation. In this study, we investigate generating sound conditioned on a text prompt and propose a novel text-to-sound generation framework that consists of a text encoder, a Vector Quantized Variational Autoencoder (VQ-VAE), a decoder, and a vocoder. The framework first uses the decoder to transfer the text features extracted from the text encoder to a mel-spectrogram with the help of VQ-VAE, and then the vocoder is used to transform the generated mel-spectrogram into a waveform. We found that the decoder significantly influences the generation performance. Thus, we focus on designing a good decoder in this study. We begin with the traditional autoregressive decoder, which has been proved as a state-of-the-art method in previous sound generation works. However, the AR decoder always predicts the mel-spectrogram tokens one by one in order, which introduces the unidirectional bias and accumulation of errors problems. Moreover, with the AR decoder, the sound generation time increases linearly with the sound duration. To overcome the shortcomings introduced by AR decoders, we propose a non-autoregressive decoder based on the discrete diffusion model, named Diffsound. Specifically, the Diffsound predicts all of the mel-spectrogram tokens in one step and then refines the predicted tokens in the next step, so the best-predicted results can be obtained after several steps. Our experiments show that our proposed Diffsound not only produces better text-to-sound generation results when compared with the AR decoder but also has a faster generation speed, e.g., MOS: 3.56 extit{v.s} 2.786, and the generation speed is five times faster than the AR decoder.

연구 동기 및 목표

• 자연어 기술서에서 고음질, 맥락적으로 관련된 음성을 생성할 수 있는 효과적인 텍스트-음성 생성 모델의 부족을 해결하기 위해.
• 순차적 예측으로 인한 오류 누적과 느린 생성 속도 등의 문제로 인해 자동회귀 토큰 디코더의 한계를 극복하기 위해.
• 비자기적 토큰 디코더를 이산 확산 모델링 기반으로 설계하여 더 빠르고 정확한 멜스펙트로그램 토큰 생성을 가능하게 하기 위해.
• 음성 품질, 정확도, 텍스트 일치도를 종합적으로 평가하기 위해 FID, KL 발산, 음성 캡션 손실 등의 객관적 평가 지표를 개발하기 위해.
• 재현 가능성과 텍스트-음성 생성 분야의 향후 연구를 지원하기 위해 코드, 사전 학습된 모델, 생성 샘플을 공개하기 위해.

제안 방법

• 프레임워크는 입력 기술서에서 텍스트 특징를 추출하기 위해 텍스트 인코더를 사용하며, 이를 바탕으로 이산 확산 기반의 비자기적 토큰 디코더를 조건화한다.
• 토큰 디코더는 노이즈 제거 확산 프로세스를 통해 멜스펙트로그램 토큰을 생성한다: 먼저 한 번의 단계에서 모든 토큰을 예측한 후, 정확도를 향상시키기 위해 반복적으로 개선한다.
• 사전 학습된 VQ-VAE는 멜스펙트로그램을 이산 토큰 시퀀스로 압축하여 이산 잠재 공간에서의 시퀀스 모델링을 가능하게 한다.
• 보코더(예: MelGAN)는 생성된 멜스펙트로그램을 최종 웨이브폼으로 변환하여 오디오 합성 파이프라인을 완성한다.
• 노이즈 스케줄 αₜ와 βₜ를 사용하여 확산 프로세스를 수식화하며, αₜ = 1 - Kβₜ로 정의되고, 역방향 프로세스는 원래 토큰 시퀀스를 복원하기 위해 학습된 노이즈 제거 단계를 사용한다.
• 모델는 재구성 손실과 확산 목표를 조합하여 학습되며, 예측 오차를 줄이기 위해 반복적인 개선 과정을 거친다.

실험 결과

연구 질문

• RQ1 비자기적 확산 기반 토큰 디코더는 품질과 속도 측면에서 자동회귀 모델을 능가할 수 있는가?
• RQ2 이산 확산 모델의 반복적 개선 메커니즘이 자동회귀 생성 대비 오류 누적을 효과적으로 줄이는가?
• RQ3 제안된 객관적 평가 지표(FID, KL, 음성 캡션 손실)가 생성된 오디오 샘플의 정확도와 관련성에 대해 신뢰성 있게 평가할 수 있는가?
• RQ4 기존 최첨단 방법들과 비교해 실제 응용 환경에서 Diffsound 모델의 성능은 어떠한가?
• RQ5 모델은 다양한 사운드 이펙트에 대해 일반화되며, 다양한 텍스트 프롬프트와 강한 일치도를 유지할 수 있는가?

주요 결과

• Diffsound는 평균 의견 점수(MOS) 3.56을 기록하여 자동회귀 기반 모델(2.786)을 크게 앞서며, 더 뛰어난 청취자 품질을 보여준다.
• 모델은 자동회귀 기반 모델 대비 다섯 배 빠른 음성 생성 속도를 기록하여 추론 속도 향상에 있어 뚜렷한 성과를 보였다.
• 객관적 평가 지표인 FID, KL 발산, 음성 캡션 손실은 인간 평가와 강한 상관관계를 보이며, 자동 평가의 효과성을 입증한다.
• 확산 기반 토큰 디코더의 반복적 개선 프로세스는 오류 전파를 효과적으로 줄여 더 정확한 멜스펙트로그램 생성을 이끌어냈다.
• 모델는 다양한 텍스트 프롬프트에 대해 잘 일반화되어 있으며, 맥락적으로 관련 있고 청취자에게 자연스럽게 들리는 사운드 이펙트를 생성했다.
• 저자들은 http://dongchaoyang.top/text-to-sound-synthesis-demo/ 에서 코드, 사전 학습된 모델, 샘플 생성물을 공개하여 커뮤니티 접근성과 재현 가능성을 보장했다.