[논문 리뷰] PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Driven Adaptive Prior

Sang-gil Lee, Heeseung Kim외 8명|arXiv (Cornell University)|2021. 06. 11.

Music and Audio Processing참고 문헌 38인용 수 12

한 줄 요약

PriorGrad는 조건부 노이즈 제거 확산 모델을 향상시키기 위해 표준 가우시안 사전분포 대신 입력 조건 통계에 기반한 데이터 기반 적응형 사전분포를 학습함으로써 성능을 향상시킨다. 이는 음성 생성 작업(예: 보코더 모델링)에서 수렴 속도 향상, 샘플 품질 향상, 데이터 및 파라미터 효율성 향상을 이끈다.

ABSTRACT

Denoising diffusion probabilistic models have been recently proposed to generate high-quality samples by estimating the gradient of the data density. The framework assumes the prior noise as a standard Gaussian distribution, whereas the corresponding data distribution may be more complicated than the standard Gaussian distribution, which potentially introduces inefficiency in denoising the prior noise into the data sample because of the discrepancy between the data and the prior. In this paper, we propose PriorGrad to improve the efficiency of the conditional diffusion model (for example, a vocoder using a mel-spectrogram as the condition) by applying an adaptive prior derived from the data statistics based on the conditional information. We formulate the training and sampling procedures of PriorGrad and demonstrate the advantages of an adaptive prior through a theoretical analysis. Focusing on the audio domain, we consider the recently proposed diffusion-based audio generative models based on both the spectral and time domains and show that PriorGrad achieves a faster convergence leading to data and parameter efficiency and improved quality, and thereby demonstrating the efficiency of a data-driven adaptive prior.

연구 동기 및 목표

• 표준 가우시안 사전분포와 복잡한 데이터 분포 간의 불일치로 인한 노이즈 제거 확산 모델의 비효율성 문제를 해결하기 위해.
• 특히 음성 생성에서 조건부 확산 모델의 수렴 속도와 샘플 품질 향상시키기 위해.
• 조건부 정보에 기반해 사전분포를 적응적으로 조정하는 방법을 개발하여 데이터 통계를 활용해 더 나은 모델링을 가능하게 하기 위해.

제안 방법

• 입력 컨텍스트에 조건된 데이터 통계에서 학습된 적응형 사전분포로 표준 가우시안 사전분포를 대체하기.
• 적응형 사전분포를 노이즈 제거 과정에 통합하기 위해 PriorGrad의 학습 및 추론 절차를 제안하기.
• 학습 중에 조건부 정보(예: 멜스펙트로그램)를 사용하여 적응형 사전분포의 평균과 분산을 추정하기.
• 학습된 사전분포를 노이즈 제거 目표에 통합하기 위해 스코어 매칭 손실을 수정하여 적응형 사전분포를 고려하도록 하기.
• 평가를 위해 시간 도메인 및 스펙트럼 도메인 확산 기반 음성 생성 모델에 모두 적용하기.
• 스코어 매칭 목표함수와 사전분포 불일치 분석을 통해 적응형 사전분포의 이론적 우수성을 입증하기.

실험 결과

연구 질문

• RQ1 표준 가우시안 사전분포를 데이터 기반 적응형 사전분포로 대체할 경우 조건부 확산 모델의 수렴 속도에 어떤 영향을 미치는가?
• RQ2 적응형 사전분포는 음성 생성에서 샘플 품질과 학습 효율성 향상에 어느 정도 기여하는가?
• RQ3 적응형 사전분포는 확산 기반 음성 생성의 다양한 아키텍처와 모odalities에 일반화될 수 있는가?

주요 결과

• PriorGrad는 고정된 가우시안 사전분포를 사용하는 표준 확산 모델 대비 더 빠른 수렴을 달성한다.
• 적응형 사전분포는 음성 생성에서 청각적 및 객관적 지표를 통해 측정된 샘플 품질 향상에 기여한다.
• 이 방법은 데이터 및 파rameter 효율성을 향상시켜 더 적은 학습 스텝과 더 적은 데이터로도 높은 품질의 생성을 달성할 수 있도록 한다.
• 이론적 분석을 통해 적응형 사전분포가 사전분포 불일치를 감소시켜 최적화 경로를 향상시킴을 확인하였다.
• 실증 결과는 시간 도메인 및 스펙트럼 도메인 확산 모델 전반에서 일관된 성능 향상을 보였다.
• 이 방법은 보코더 응용 분야에서 효과적이며, 실제 음성 생성 응용 분야에서의 실용성을 입증하였다.