[논문 리뷰] On the Design Fundamentals of Diffusion Models: A Survey

Ziyi Chang, George Alex Koulieris외 2명|arXiv (Cornell University)|2023. 06. 07.

Statistical Methods and Bayesian Inference인용 수 46

한 줄 요약

이 논문은 확산 모델의 구성 요소별 포괄적 조사로, 순방향(process), 역방향(process), 샘플링 절차의 설계 선택을 이산 및 연속 형식으로 자세히 다룬다.

ABSTRACT

Diffusion models are learning pattern-learning systems to model and sample from data distributions with three functional components namely the forward process, the reverse process, and the sampling process. The components of diffusion models have gained significant attention with many design factors being considered in common practice. Existing reviews have primarily focused on higher-level solutions, covering less on the design fundamentals of components. This study seeks to address this gap by providing a comprehensive and coherent review of seminal designable factors within each functional component of diffusion models. This provides a finer-grained perspective of diffusion models, benefiting future studies in the analysis of individual components, the design factors for different purposes, and the implementation of diffusion models.

연구 동기 및 목표

• 확산 모델 설계의 기초를 세 가지 핵심 구성 요소: 순방향 프로세스, 역방향 프로세스, 샘플링 절차를 중심으로 정리한다.
• 확산 모델의 분석, 적용 가능성 및 구현에 도움이 되도록 세부 구성 요소 차원의 검토를 제공한다.
• 데이터 특성 및 노이즈 설계가 학습 및 생성에 어떤 영향을 미치는지 논의하며 이산 및 연속 형식을 비교한다.

제안 방법

• 순방향 프로세스의 설계 선택에 대한 문헌을 조사하고 합성한다. 여기에는 노이즈 스케줄, 노이즈 유형, 전이 체인 등이 포함된다.
• 역방향 프로세스의 아키텍처와 출력 매개변수화를 설명한다. 특히 U-Net 및 Transformer 기반 디노이저와 그것들이 어떻게 학습되는지 다룬다.
• 샘플링 절차와 사전 학습된 디노이저가 새로운 데이터를 생성하는 방법, 다양한 출력 매개변화(x0, ε̂t, ŝt)를 포함한다.
• 연속 시간(SDE) 및 이산 시간(DDPM) 형식과 이들의 이론 및 실무에 대한 시사점을 소개한다.
• 데이터 특성, 잠재 공간 및 체계적 전이를 디자인 레버로 삼아 표현력과 효율성을 향상시키는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 순방향 프로세스에 대한 표준 설계 선택은 무엇이며 이것이 학습 및 생성에 어떤 영향을 미치는가?
• RQ2 역방향 프로세스가 각 타임스텝에서 노이즈를 정확하게 제거하도록 매개변수화 및 학습되어야 하는 방법은 무엇인가?
• RQ3 이산 타임스텝과 연속 타임스텝이 확산 모델링 이론 및 실무에 미치는 영향은 무엇인가?
• RQ4 노이즈 스케줄, 노이즈 유형, 전이 체인이 모델 성능과 수렴성에 어떤 영향을 미치는가?
• RQ5 데이터 특성 및 잠재 표현을 활용하여 확산 모델의 표현력을 어떻게 향상시킬 수 있는가?

주요 결과

• 순방향 과정은 학습 가능 매개변수 없이 시간 순서의 체인을 통해 노이즈를 추가하며, 최종 분포를 계산 가능하게 만든다.
• 이산 DDPM과 연속 SDE 형식은 서로 다른 수학적 표현을 통해 동등한 결과를 제공하며, 학습 및 샘플링에 방향을 제시한다.
• 노이즈 스케줄과 노이즈 유형은 탐색-착취 및 모델 표현력을 결정적으로 좌우한다.
• 역방향 프로세스는 일반적으로 평균이 학습 가능한 가우시안으로 모델링되고, 분산은 고정되거나 학습될 수 있으며 x̂0, ε̂t, 또는 ŝt와 같은 출력 매개변수를 통해 매개화된다.
• 일반적인 디노이징 아키텍처로는 U-Net과 Transformer가 있으며, 로컬 및 글로벌 의존성을 균형 잡기 위해 건너뛰기 연결 및 교차 주의(attention)를 활용하는 하이브리드도 존재한다.
• 샘플링은 학습된 디노이저를 사용해 순방향 체인을 역으로 진행하므로 데이터 분포에 근접한 샘플을 생성한다.