[논문 리뷰] A Geometric Perspective on Diffusion Models

Defang Chen, Zhenyu Zhou외 4명|arXiv (Cornell University)|2023. 05. 31.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 확산 모델에서 ODE 기반 샘플링을 이해하기 위한 기하학적 프레임워크를 제안하며, 모델의 스코어 함수에 의해 구동되는 디노이징 경로가 더 빠르게 수렴하는 암묵적 경로로서 고품질 샘플을 생성함을 밝혀낸다. 이는 최적의 ODE 샘플링과 평균 이동(모드 탐색) 알고리즘 사이의 이론적 연결을 수립하며, 각 옐러러 단계가 현재 위치와 평균 이동 목표의 볼록 조합을 근사함을 보여주고, 디노이징 경로가 시각적 품질과 FID 측면에서 샘플링 경로를 항상 뛰어넘는다는 점을 입증한다. 이를 통해 ODE-점프 샘플링을 통해 더 빠른 추론이 가능해진다.

ABSTRACT

Recent years have witnessed significant progress in developing effective training and fast sampling techniques for diffusion models. A remarkable advancement is the use of stochastic differential equations (SDEs) and their marginal-preserving ordinary differential equations (ODEs) to describe data perturbation and generative modeling in a unified framework. In this paper, we carefully inspect the ODE-based sampling of a popular variance-exploding SDE and reveal several intriguing structures of its sampling dynamics. We discover that the data distribution and the noise distribution are smoothly connected with a quasi-linear sampling trajectory and another implicit denoising trajectory that even converges faster. Meanwhile, the denoising trajectory governs the curvature of the corresponding sampling trajectory and its finite differences yield various second-order samplers used in practice. Furthermore, we establish a theoretical relationship between the optimal ODE-based sampling and the classic mean-shift (mode-seeking) algorithm, with which we can characterize the asymptotic behavior of diffusion models and identify the empirical score deviation. Code is available at \url{https://github.com/zju-pi/diff-sampler}.

연구 동기 및 목표

• 확산 모델에서 분산 증폭 SDE에 대한 ODE 기반 샘플링 역학에 대한 기하학적 이해를 제공하는 것.
• 명시적 샘플링 경로와는 다름없이 더 빠르게 수렴하는 암묵적 디노이징 경로의 존재를 드러내는 것.
• ODE 기반 샘플링과 평균 이동(모드 탐색) 알고리즘 사이의 이론적 연결을 수립하는 것.
• 디노이징 경로가 왜 항상 샘플링 경로보다 더 높은 시각적 품질을 생성하는지 설명하는 것.
• 디노이징 경로를 활용하여 더 빠르고 효율적인 샘플링 방법을 개발하고 검증하는 것.

제안 방법

• 저자는 분산 증폭 SDE의 ODE 기반 샘플링 과정을 분석하여, 명시적 샘플링 경로와 암묵적 디노이징 경로라는 두 가지 핵심 경로를 식별한다.
• 디노이징 경로의 도함수가 샘플링 경로의 음의 이阶도 도함수와 일치함을 도출하여, 이를 이阶도 수치적 해법과 연결한다.
• 논문은 최적의 ODE 샘플링과 안내된 평균 이동 알고리즘 사이에 이론적 동치성을 수립하며, 각 옐러러 단계가 현재 위치와 평균 이동 목표의 볼록 조합으로 향하는 것을 보여준다.
• ODE-점프 샘플링 방법을 제안하며, 이는 디노이징 경로를 이용해 샘플링 과정을 앞서서 점프함으로써 점수 함수 평가 횟수(NFE)를 줄이면서도 높은 품질을 유지한다.
• DPM-Solver와 EDM 같은 표준 샘플러들과의 FID 및 시각적 품질 비교를 통해 여러 데이터셋(CIFAR-10, ImageNet, FFHQ, Stable Diffusion)에서 방법을 검증한다.
• 이론적 분석을 통해 온화한 조건 하에서 디노이징 경로를 따라 생성된 샘플의 가능도가 샘플링 경로를 따라 생성된 샘플의 가능도를 초월함을 확인하며, 이로 인해 성능 향상의 이유를 설명한다.

Figure 1: The geometric picture of ODE-based sampling in diffusion models. An initial sample (from the noise distribution) starts from a big sphere and converges to its final sample (in the data manifold) along a smooth, quasi-linear sampling trajectory. Meanwhile, its denoising output lays in an im

실험 결과

연구 질문

• RQ1 ODE 기반 확산 모델의 샘플링 역학을 뒷받침하는 기하학적 구조는 무엇인가?
• RQ2 디노이징 경로는 명시적 샘플링 경로와 어떻게 다를까? 그리고 왜 시각적 품질 측면에서 더 빠르게 수렴하는가?
• RQ3 ODE 기반 샘플링과 평균 이동 알고리즘 사이의 이론적 관계는 무엇인가?
• RQ4 왜 디노이징 경로는 항상 샘플링 경로보다 더 높은 품질의 샘플을 생성하는가?
• RQ5 디노이징 경로는 더 빠르고 효율적인 샘플링 방법 설계에 활용될 수 있는가?

주요 결과

• 디노이징 경로는 점수 함수 평가 횟수(NFE)가 적을수록 FID 측면에서 샘플링 경로보다 유의미하게 더 빠르게 수렴한다.
• CIFAR-10과 ImageNet-64에서 DPM-Solver-3와 NFE=48를 사용한 ODE-점프 샘플링은 표준 EDM 샘플러보다 더 빠른 FID 수렴을 달성한다.
• 디노이징 경로는 가능도와 시각적 품질 측면에서 항상 샘플링 경로를 뛰어넘으며, 초기 샘플링 단계에서 FID 개선 폭이 최대 30%에 이른다.
• 이론적 분석을 통해 각 옐러러 단계가 현재 샘플과 평균 이동 목표의 볼록 조합을 근사함을 확인하며, 이는 ODE 샘플링이 모드 탐색 행동과 연결됨을 설명한다.
• 디노이징 경로의 도함수는 샘플링 경로의 음의 이阶도 도함수와 대응함을 보여주며, 유한 차분 기반의 이阶도 샘플러의 기원을 설명한다.
• 최적의 스코어에서 약간의 경험적 스코어 편차가 존재하더라도, 평균 이동 유사 역학의 내재적 강건성 덕분에 생성 능력은 유지되며, 모드 붕괴가 감소함을 입증한다.

(a) The statistics of magnitude.