[논문 리뷰] Blurring Diffusion Models

Emiel Hoogeboom, Tim Salimans|arXiv (Cornell University)|2022. 09. 12.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 표준화된 가우시안 노이즈와 결정론적 블러링(열확산)을 조합하여 샘플 품질을 향상시키는 새로운 종류의 생성 모델인 블러링 디퓨전 모델을 소개한다. 블러링이 비등방성 가우시안 디퓨전과 동치임을 보여줌으로써, 표준 노이즈 제거 디퓨전 기법을 효율적으로 사용할 수 있게 되었으며, CIFAR10에서 FID 점수 3.17, LSUN 교회에서 3.88의 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

Recently, Rissanen et al., (2022) have presented a new type of diffusion process for generative modeling based on heat dissipation, or blurring, as an alternative to isotropic Gaussian diffusion. Here, we show that blurring can equivalently be defined through a Gaussian diffusion process with non-isotropic noise. In making this connection, we bridge the gap between inverse heat dissipation and denoising diffusion, and we shed light on the inductive bias that results from this modeling choice. Finally, we propose a generalized class of diffusion models that offers the best of both standard Gaussian denoising diffusion and inverse heat dissipation, which we call Blurring Diffusion Models.

연구 동기 및 목표

• 표준 노이즈 제거 디퓨전 모델과 열확산(블러링) 모델 간의 샘플 품질 격차를 해소하기 위해.
• 블러링을 등가의 비등방성 가우시안 디퓨전 과정으로 정식화하여 기존의 노이즈 제거 디퓨전 기법을 활용할 수 있도록 하기 위해.
• 등방성 노이즈와 결정론적 블러링의 장점을 통합하는 일반화된 디퓨전 모델 클래스를 개발하기 위해.
• 블러 강도와 노이즈 스케줄의 영향을 경험적으로 평가하기 위해.

제안 방법

• 모델은 결정론적 블러링과 추가적인 등방성 가우시안 노이즈를 조합한 디퓨전 과정을 정의하며, 전체 과정을 비등방성 가우시안 디퓨전으로 모델링한다.
• 블러링과 비등방성 노이즈를 가진 가우시안 디퓨전 간의 등가성을 확립하여 마르코프 전이와 주파수 공간에서의 대각 행렬 공분산을 가능하게 한다.
• 학습 효율성을 위해 학습된 에프리미티브 파arametrization을 사용하여 표준 노이즈 제거 디퓨전 목표 함수를 기반으로 한 디노이징 과정을 수립한다.
• 블러 강도를 제어하기 위해 학습 가능한 노이즈 스케줄을 사용하며, $\sigma_{B,t} = \sigma_{B,\max} \sin^2(t\pi/2)$ 또는 $\sin(t\pi/2)$로 매개변수화한다.
• 표준 노이즈 제거 디퓨전과 유사하게 주파수 공간의 대각 공분산을 활용하여 효율적인 추론과 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 블러잉(열확산)은 비등방성 가우시안 과정을 통해 표준 노이즈 제거 디퓨전과 공식적으로 연결될 수 있는가?
• RQ2 블러잉과 등방성 노이즈를 조합하면 표준 노이즈 제거 디퓨전 또는 순수한 역열확산 모델보다 샘플 품질이 향상되는가?
• RQ3 다양한 블러 강도와 노이즈 스케줄은 학습 동역학과 최종 샘플 품질에 어떤 영향을 미치는가?
• RQ4 블러잉이 도입하는 인덕티브 바이어스는 일반화 능력과 시각적 품질 측면에서 등방성 노이즈와 비교해 어떻게 다른가?

주요 결과

• 블러잉 디퓨전 모델은 CIFAR10에서 FID 점수 3.17을 기록하여 표준 노이즈 제거 디퓨전(3.58)과 역열확산 모델(18.96)을 모두 초월한다.
• LSUN 교회(128×128)에서 모델은 FID 3.88을 달성하여 표준 노이즈 제거 디퓨전(4.68)과 IHDM(45.1)을 모두 뛰어넘는다.
• 최대 블러 강도가 높은 모델($\sigma_{B,\max} = 20$)은 더 천천히 수렴하지만, 낮은 블러 강도 모델보다 더 뛰어난 샘플 품질을 달성하여 정규화 효과가 있음을 시사한다.
• 특히 고강도 블러링에서 $\sin^2$ 스케줄이 $\sin$ 스케줄보다 우수한 성능을 보이며, 초기 타임스텝에서 더 점진적인 블러링을 가능하게 하기 때문이다.
• CIFAR10에서 $\sigma_{B,\max} = 20$ 모델은 200K 학습 스텝을 넘어서야 기준 모델을 뛰어넘는다. 이는 최적 성능을 내기 위해 더 긴 학습 기간이 필요함을 시사한다.