[논문 리뷰] PriorGrad: Improving Conditional Denoising Diffusion Models with Data-Dependent Adaptive Prior

Sang-gil Lee, Heeseung Kim외 8명|arXiv (Cornell University)|2021. 06. 11.

Speech Recognition and Synthesis인용 수 23

한 줄 요약

PriorGrad는 조건부 노이즈 제거 확산 모델을 향상시키기 위해 표준 가우시안 사전분포를 조건부 입력(예: 멜스펙트로그램 또는 음소)에서 유도된 데이터에 의존하는 적응형 가우시안 사전분포로 대체함으로써 성능을 향상시킨다. 조건부 특징에서 인스턴스 수준의 평균과 분산을 계산함으로써 학습 수렴 속도를 높이고 청각적 품질을 향상시키며 파rameter 효율성을 개선한다. 이는 더 빠른 추론과 더 작은 모델 크기에서도 강건한 성능을 보이는 음성 합성에서 입증되었다.

ABSTRACT

Denoising diffusion probabilistic models have been recently proposed to generate high-quality samples by estimating the gradient of the data density. The framework defines the prior noise as a standard Gaussian distribution, whereas the corresponding data distribution may be more complicated than the standard Gaussian distribution, which potentially introduces inefficiency in denoising the prior noise into the data sample because of the discrepancy between the data and the prior. In this paper, we propose PriorGrad to improve the efficiency of the conditional diffusion model for speech synthesis (for example, a vocoder using a mel-spectrogram as the condition) by applying an adaptive prior derived from the data statistics based on the conditional information. We formulate the training and sampling procedures of PriorGrad and demonstrate the advantages of an adaptive prior through a theoretical analysis. Focusing on the speech synthesis domain, we consider the recently proposed diffusion-based speech generative models based on both the spectral and time domains and show that PriorGrad achieves faster convergence and inference with superior performance, leading to an improved perceptual quality and robustness to a smaller network capacity, and thereby demonstrating the efficiency of a data-dependent adaptive prior.

연구 동기 및 목표

• 표준 가우시안 사전분포와 복잡한 데이터 분포 간의 불일치로 인해 발생하는 조건부 노이즈 제거 확산 모델의 비효율성 문제를 해결한다.
• 표준이 아닌 적응형 사전분포가 계산 비용이나 파라미터 수 증가 없이 모델 성능 향상에 기여할 수 있는지 조사한다.
• 제한된 모델 용량 하에서 확산 기반 음성 생성 모델의 학습 수렴 속도와 추론 속도를 향상시킨다.
• 스펙트럼 도메인 및 시간 도메인 확산 모델 모두에서 적응형 사전분포의 효과를 입증한다.
• 파rameter 효율성 향상과 모델 크기 감소에 대한 강건성으로 인해 실용적인 확산 모델 배포를 가능하게 한다.

제안 방법

• 표준 가우시안 사전분포를 조건부 입력에서 유도된 데이터에 의존하는 적응형 가우시안 사전분포로 대체하는 PriorGrad를 제안한다.
• 조건부 입력 특징(예: 멜스펙트로그램 프레임 또는 음소 수준 임베딩)에서 인스턴스 수준의 평균과 분산을 직접 계산한다.
• 조건부 통계를 이용해 비모수적이고 인스턴스별 사전분포를 정의하여 목표 데이터 분포와 더 잘 일치시킨다.
• 역확산 과정을 수정하지 않고 스펙트럼 도메인(vocoder) 및 시간 도메인(음성 모델) 확산 모델에 적응형 사전분포를 통합한다.
• 역확산 경로를 학습하는 데 복잡한 부담을 줄이기 위해 적응형 사전분포에서 노이즈 제거를 학습한다.
• 사전분포 추정을 위한 추가 파라미터나 학습 복잡도 없이 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 표준 가우시안 사전분포를 데이터에 의존하는 적응형 사전분포로 대체하면 조건부 확산 모델의 학습 효율성이 향상되는가?
• RQ2 조건부 입력에서 유도된 적응형 사전분포가 음성 합성에서 수렴 속도와 샘플 품질에 어떤 영향을 미치는가?
• RQ3 모델 용량이 감소할 경우 PriorGrad가 성능 향상에 얼마나 기여하는가?
• RQ4 적응형 사전분포가 노이즈가 많거나 복잡한 신호 세그먼트(예: 음성 발성 대비 비음성 발성)에 대해 강건성을 향상시키는가?
• RQ5 제안된 방법은 음성 합성 외의 다른 조건부 생성 작업으로 일반화될 수 있는가?

주요 결과

• PriorGrad는 빠른 학습 수렴을 달성하여 기준 모델보다 더 이르게 청각적으로 우수한 샘플을 생성했다.
• 350만 파라미터 PriorGrad 모델은 350만 및 1000만 파라미터 기준 모델을 모두 능가했으며, 30만 번째 학습 스텝에서 MOS 4.08 ± 0.07을 기록했다.
• 모델 파라미터를 65% 감소시킨(1000만에서 350만으로) PriorGrad는 대규모 기준 모델와 거의 동일한 청각적 품질을 유지했으며, 이는 강력한 파라미터 효율성을 보여주었다.
• 작은 PriorGrad 모델는 30만 번째 스텝에서 MOS 3.96 ± 0.07을 기록했으며, 대규모 기준 모델(3.91 ± 0.09)과 소규모 기준 모델(4.00 ± 0.08)을 모두 초월해 학습 다이내믹스 향상을 보여주었다.
• PriorGrad는 대규모 모델 용량이 필요로 하는 것을 줄여 확산 모델의 실용적 배포를 가능하게 했다.
• 스펙트럼 도메인(vocoder) 및 시간 도메인(음성 모델) 확산 모델 모두에서 일관된 성능 향상을 보여, 광범위한 적용 가능성을 확인했다.