[논문 리뷰] Noise Estimation for Generative Diffusion Models

Robin San-Roman, Eliya Nachmani외 1명|arXiv (Cornell University)|2021. 04. 06.

Music and Audio Processing참고 문헌 30인용 수 38

한 줄 요약

논문은 diffusion 중 현재 노이즈 레벨을 예측하는 신경 노이즈 추정 모듈 P_theta를 도입하여 확산의 노이즈 스케줄을 실시간으로 조정할 수 있게 하여 이미지와 음성 작업 모두에서 few-step 생성의 품질을 개선한다. 이 접근 방식은 샘플당 그리드 검색을 피하고 더 적은 스텝으로 더 나은 품질을 제공한다.

ABSTRACT

Generative diffusion models have emerged as leading models in speech and image generation. However, in order to perform well with a small number of denoising steps, a costly tuning of the set of noise parameters is needed. In this work, we present a simple and versatile learning scheme that can step-by-step adjust those noise parameters, for any given number of steps, while the previous work needs to retune for each number separately. Furthermore, without modifying the weights of the diffusion model, we are able to significantly improve the synthesis results, for a small number of steps. Our approach comes at a negligible computation cost.

연구 동기 및 목표

• 효율적인 확산 기반 생성을 위해 많은 denoising 단계 없이도 샘플별 광범위한 튜닝 없이 가능하도록 동기를 부여한다.
• 현재 노이즈 레벨을 추정하여 역확산 프로세스를 조건화하도록 제안한다.
• 추정된 alpha_hat를 이용해 추론 중 남은 단계의 노이즈 스케줄 매개변수를 동적으로 조정한다.
• 추정된 alpha_hat를 반영하는 업데이트된 추론 방정식을 통해 추론 품질을 높인다.
• 이미지와 음성 생성 모두에 양적 개선으로 적용 가능성을 보여준다.

제안 방법

• P_theta를 도입: 현재 노이즈 레벨 alpha_hat를 노이즈 샘플 y_n으로부터 추정하는 신경망이다.
• 회귀 손실 L(alpha, alpha_hat) = ||log(1 - alpha) - log(1 - alpha_hat)||_2 를 사용하여 alpha ≈ 1 근처의 정확성을 강조한다.
• 남은 스텝의 노이즈 스케줄 매개변수(beta_i)를 선형 또는 피보나치 스케줄로 조정하기 위해 alpha_hat를 이용한다.
• 추론에 추정된 alpha_hat를 반영하도록 업데이트된 추론 방정식을 사용하여 denoising에 대해 사전 학습된 DDPM/DDIM 백본 epsilon_theta를 활용한다.
• interval 기반 DDPM 컨디셔닝을 사용할 때 discrete interval 인덱스로 conditioning 가능하도록 alpha_hat를 interval t로 매핑한다.
• 선정된 스텝에서 노이즈 스케줄을 업데이트하고 필요 시 P_theta에 따라 재조정하는 추론 절차를 시연한다.

실험 결과

연구 질문

• RQ1 denoising 스텝 수가 작을 때 노이즈 추정 네트워크가 샘플 품질을 향상시킬 수 있는가?
• RQ2 실시간 노이즈 스케줄 조정이 그리드 검색으로 얻은 고정 스케줄보다 성능이 좋은가?
• RQ3 이미지와 음성 확산 모델이 추론 중 적응형 노이즈 스케줄링의 혜택을 받는가?
• RQ4 alpha가 1에 근접할 때 특히 추정된 노이즈 레벨 alpha_hat의 정확도는 어떤가?

주요 결과

설정	MCD (↓)	PESQ (↑)	STOI (↑)
1000 iterations	2.65	3.29	0.959
Grid Searched	2.76	2.78	0.924
Our method	2.96	3.14	0.943

• 제안된 방법은 음성 및 이미지 작업에서 few-step 생성의 샘플 충실도를 그리드 검색 기준선과 비교해 향상한다.
• 음성에서 few steps로 더 높은 PESQ와 STOI 점수를 얻고 그리드 검색에 비해 작은 MCD 변화가 나타난다.
• 이미지 생성에서 매 스텝마다 노이즈 스케줄 조정과 학습된 alpha_hat 사용이 제한된 스텝에서 DDIM 기준선보다 FID를 크게 개선한다.
• alpha_hat 추정기가 alpha ≈ 1 근처에서 높은 정확도, 음성 데이터에서 MSE가 약 1e-4에 근접한다.
• 이 방법으로 이미지에서 3 denoising step만으로도 양질의 품질 및 고정 스케줄에 비해 빠른 추론 가능성을 보여준다.
• 표 1은 직접 비교를 보여주며 그리드 검색은 MCD 2.76, PESQ 2.78, STOI 0.924이고 우리의 방법은 2.96, PESQ 3.14, STOI 0.943 at 1000 iterations.