[논문 리뷰] Denoising Diffusion Probabilistic Models in Six Simple Steps

Richard E. Turner, Cristiana-Diana Diaconu외 4명|arXiv (Cornell University)|2024. 02. 06.

Simulation Techniques and Applications인용 수 4

한 줄 요약

이 논문은 변분 추론이나 확률적 미분 방정식에 의존하지 않고, 각 구성 요소의 설계 근거를 명확히 하는 간소화된 6단계 공식화를 제시한다. 표준 기계 학습 개념과 직관적인 확률적 추론에 기반하여, 생성 모델링에서의 실용적 효과성을 유지하면서도 DDPMs에 대한 더 명확하고 접근하기 쉬운 이해를 가능하게 한다.

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) are a very popular class of deep generative model that have been successfully applied to a diverse range of problems including image and video generation, protein and material synthesis, weather forecasting, and neural surrogates of partial differential equations. Despite their ubiquity it is hard to find an introduction to DDPMs which is simple, comprehensive, clean and clear. The compact explanations necessary in research papers are not able to elucidate all of the different design steps taken to formulate the DDPM and the rationale of the steps that are presented is often omitted to save space. Moreover, the expositions are typically presented from the variational lower bound perspective which is unnecessary and arguably harmful as it obfuscates why the method is working and suggests generalisations that do not perform well in practice. On the other hand, perspectives that take the continuous time-limit are beautiful and general, but they have a high barrier-to-entry as they require background knowledge of stochastic differential equations and probability flow. In this note, we distill down the formulation of the DDPM into six simple steps each of which comes with a clear rationale. We assume that the reader is familiar with fundamental topics in machine learning including basic probabilistic modelling, Gaussian distributions, maximum likelihood estimation, and deep learning.

연구 동기 및 목표

• 각 설계 선택의 근거를 설명하는 직관적이고 종합적인 DDPM 소개가 부족한 데 대응하기 위해.
• 변분 추론이나 확률적 미분 방정식과 같은 고급 주제를 필요로 하지 않는 DDPM의 단계적 유도를 제공하기 위해.
• 기본적인 확률 모델링과 최대우도 추정에 기반하여 DDPM을 연구자와 실무자 모두가 더 쉽게 접근할 수 있도록 하기 위해.
• 추상적인 최적화 목표가 아닌 기초적인 확률적 직관에 초점을 맞춰 DDPM이 작동하는 이유를 명확히 하기 위해.

제안 방법

• 1단계: 데이터 분포를 정의하고, 점차 노이즈를 추가하여 데이터를 단순한 분포(예: 표준 정규분포)로 변환하는 마르코프 확산 과정을 도입한다.
• 2단계: 노이즈 제거를 반복적으로 수행하는 디노이징 확산 과정으로 역과정을 모델링하고, 신경망을 사용해 노이즈 추가 과정을 역행하도록 학습한다.
• 3단계: 역과정에 대한 변분 근사법을 사용하지만, 이는 이론적 구조가 아니라 실용적인 최적화 목표로 해석한다.
• 4단계: 역 KL 발산을 최소화함으로써 스코어 기반 손실 함수를 도출하고, 실용적인 학습 목표로 이어진다.
• 5단계: 각 노이즈 수준에서 데이터를 복원하는 방식으로 학습 목표를 표현함으로써, 딥 신경망을 사용한 엔드 투 엔드 학습이 가능해진다.
• 6단계: 학습된 역과정을 사용해 노이즈에서 시작하여 점진적으로 디노이징함으로써 새로운 샘플을 생성하는 방법을 보여준다.

실험 결과

연구 질문

• RQ1 수학적으로 타당하면서도 직관적으로 이해하기 쉬운 방식으로 DDPM을 유도할 수 있는가?
• RQ2 DDPM 공식화의 각 구성 요소의 근거는 무엇이며, 왜 필수적인가?
• RQ3 변분 추론이나 확률적 미분 방정식에 의존하지 않고 DDPM을 설명할 수 있는가?
• RQ4 디퓨전 모델의 맥락에서 역디노이징 과정은 최대우도 추정과 어떻게 관련이 있는가?
• RQ5 DDPM의 효과성을 결정짓는 핵심 설계 결정은 무엇이며, 기본적인 확률 원리로 어떻게 정당화할 수 있는가?

주요 결과

• 6단계 프레임워크는 DDPM 공식화를 기본 기계 학습 개념에 기반한 논리적이고 직관적인 단계들로 성공적으로 압축하였다.
• 확률적 미분 방정식과 같은 고급 수학적 장치가 필요 없어, 더 넓은 대상에게 DDPM이 접근 가능해졌다.
• 역디노이징 과정과 최대우도 추정 간의 관계에 초점을 맞춤으로써, DDPM이 작동하는 이유와 효과적인 학습 방법을 명확히 했다.
• DDPM의 핵심 아이디어인 노이즈 추가 과정을 역행하는 법을 학습하는 것은 변분 추론이나 연속 시간 근사 없이도 이해할 수 있음을 보여주었다.
• 표준 딥 러닝 도구와 확률 모델링 기법을 사용해 DDPM을 구현하고 확장할 수 있는 명확한 길을 제공하였다.