[논문 리뷰] Denoising Diffusion Gamma Models

Eliya Nachmani, Robin San-Roman외 1명|arXiv (Cornell University)|2021. 10. 10.

Music and Audio Processing참고 문헌 36인용 수 6

한 줄 요약

이 논문은 이미지 및 음성 생성 성능을 햖थ기 위해 확산 모델의 가우시안 잡음 대신 감마 분포 잡음을 사용하는 디노이징 디퓨전 감마 모델(DDGM)을 제안한다. 감마 분포의 닫힌 형태의 덧셈 성질을 활용함으로써, 반복적 단계 없이도 효율적인 샘플링이 가능해지며, 최신 기준 FID 점수와 향상된 PESQ/STOI 지표를 달성하여 더 높은 샘플 품질과 더 빠른 수렴을 입증한다.

ABSTRACT

Generative diffusion processes are an emerging and effective tool for image and speech generation. In the existing methods, the underlying noise distribution of the diffusion process is Gaussian noise. However, fitting distributions with more degrees of freedom could improve the performance of such generative models. In this work, we investigate other types of noise distribution for the diffusion process. Specifically, we introduce the Denoising Diffusion Gamma Model (DDGM) and show that noise from Gamma distribution provides improved results for image and speech generation. Our approach preserves the ability to efficiently sample state in the training diffusion process while using Gamma noise.

연구 동기 및 목표

• 기존의 가우시안 가정을 초월해 확산 모델에서 비가우시안 잡음 분포를 탐색하여 생성 성능을 향상시키는 것.
• 형태 및 비율 파라미터를 가진 감마 분포가 확산 과정에서 가우시안 잡음보다 더 높은 모델링 능력을 제공하는지 탐구하는 것.
• 감마 잡음을 사용함에도 불구하고, 반복적 단계 없이도 임의의 상태를 샘플링할 수 있는 확산 모델의 핵심 효율성 특성을 유지하는 것.
• 제안된 DDGM을 이미지 및 음성 생성 벤치마크에서 표준 DDPM 및 DDIM 모델과 비교하여 평가하는 것.
• 감마 잡음이 시각 및 음성 생성 과제에서 더 빠른 수렴과 더 높은 품질의 샘플을 제공하는지 입증하는 것.

제안 방법

• 전방 확산 과정에서 가우시안 잡음을 감마 분포 잡음으로 대체하는 디노이징 디퓨전 감마 모델(DDGM)을 제안한다.
• 감마 분포의 닫힌 형태 성질을 활용: 동일한 비율 파라미터를 가진 독립적인 감마 변수의 합은 여전히 감마 분포이므로, 재귀 없이도 다중 단계의 노이즈 추가가 가능하다.
• 역방향 디노이징 과정과 감마 확산 모델의 변분 하한을 유도하여 학습 안정성과 일관성을 확보한다.
• 형태 및 비율 파라미터로 파arameter화된 노이즈 스케줄을 사용하며, 최적 성능을 위해 초기 비율 파라미터 θ₀를 0.001로 설정한다.
• 기존의 DDPM 및 DDIM 추론 절차를 감마 기반 모델에 적응시켜 가우시안 기반 베이스라인과 직접 비교할 수 있도록 한다.
• 표준 학습 프로토콜(예: 선형 β-스케줄, DDPM과 동일한 하이퍼파라미터)을 사용하여 CelebA 및 LSUN Church 데이터셋에서 공정한 평가를 보장한다.

실험 결과

연구 질문

• RQ1 확산 모델에서 가우시안 잡음을 감마 잡음으로 대체하면 이미지 및 음성 과제에서 생성 품질이 향상되는가?
• RQ2 감마 분포의 두 파라미터 유연성(형태 및 비율)이 가우시안의 한 파라미터에 비해 확산 과정의 잔여 잡음에 더 나은 피팅을 제공하는가?
• RQ3 감마 분포의 닫힌 형태 덧셈 성질을 활용하여 반복적 단계 없이도 효율적인 확산 샘플링을 유지할 수 있는가?
• RQ4 감마 잡음을 사용할 경우 기존의 가우시안 기반 확산 모델보다 수렴 속도가 빨라지고 FID, PESQ, STOI 점수가 향상되는가?
• RQ5 제안된 DDGM 모델은 다양한 추론 스케줄 및 데이터셋 유형(예: CelebA, LSUN Church, LJ Speech)에 대해 강건한가?

주요 결과

• 64×64 해상도의 CelebA 데이터셋에서 DDPM 추론을 사용한 DDGM은 100단계에서 FID 점수 14.22를 기록했으며, 가우시안 DDPM(45.20)을 능가하고 1000단계 기준 DDPM 베이스라인(3.26)에 가까워졌다.
• 256×256 해상도의 LSUN Church 데이터셋에서 DDIM 추론을 사용한 DDGM은 100단계에서 FID 8.75를 기록했으며, 가우시안 DDIM 베이스라인(10.58)보다 우수했다.
• LJ 데이터셋에서의 음성 생성 과제에서 DDGM은 1000회 반복에서 PESQ 점수 3.308을 기록해 WaveGrad 베이스라인(3.290)을 초월했고, STOI 점수 0.969로 베이스라인(0.959)을 뛰어넘었다.
• 히스토그램 피팅에서의 낮은 MSE를 통해 감마 분포가 확산 과정에서 추정된 잔여 잡음에 가우시안 분포보다 유의미하게 더 나은 피팅을 제공하는 것으로 나타났다(그림 1c).
• DDGM 모델은 이전 단계를 계산하지 않아도 확산 체인의 임의의 상태를 샘플링할 수 있는 능력을 유지하여, 표준 확산 모델의 효율성을 그대로 보존했다.
• DDGM에서 생성된 시각적 샘플은 특히 CelebA에서 얼굴 특징 생성 시, DDPM 및 DDIM 베이스라인과 비교해 더 높은 지각 품질과 선명한 디테일을 보였다.