[논문 리뷰] Fast Sampling of Diffusion Models with Exponential Integrator

Qinsheng Zhang, Yongxin Chen|arXiv (Cornell University)|2022. 04. 29.

Model Reduction and Neural Networks인용 수 58

한 줄 요약

DEIS는 확산 지수적 적분 샘플러를 도입하여 확산 모델 샘플링을 가속하고, 최대 10 NFEs에서 높은 충실도를 달성하며 다양한 설정에서 DDIM보다 향상된다.

ABSTRACT

The past few years have witnessed the great success of Diffusion models~(DMs) in generating high-fidelity samples in generative modeling tasks. A major limitation of the DM is its notoriously slow sampling procedure which normally requires hundreds to thousands of time discretization steps of the learned diffusion process to reach the desired accuracy. Our goal is to develop a fast sampling method for DMs with a much less number of steps while retaining high sample quality. To this end, we systematically analyze the sampling procedure in DMs and identify key factors that affect the sample quality, among which the method of discretization is most crucial. By carefully examining the learned diffusion process, we propose Diffusion Exponential Integrator Sampler~(DEIS). It is based on the Exponential Integrator designed for discretizing ordinary differential equations (ODEs) and leverages a semilinear structure of the learned diffusion process to reduce the discretization error. The proposed method can be applied to any DMs and can generate high-fidelity samples in as few as 10 steps. In our experiments, it takes about 3 minutes on one A6000 GPU to generate $50k$ images from CIFAR10. Moreover, by directly using pre-trained DMs, we achieve the state-of-art sampling performance when the number of score function evaluation~(NFE) is limited, e.g., 4.17 FID with 10 NFEs, 3.37 FID, and 9.74 IS with only 15 NFEs on CIFAR10. Code is available at https://github.com/qsh-zh/deis

연구 동기 및 목표

• 확산 모델의 빠른 샘플링에 대한 동기를 부여하고 샘플링 오차의 원인을 분석한다.
• 역방향 확산 적분에서 오차를 최소화하는 이산화 스킴을 식별한다.
• Diffusion Exponential Integrator Sampler(DEIS)와 변형들을 제안하고 개발한다.
• DEIS를 기존 샘플러와 연결하고 이론적 타당성을 제공한다(예: DDIM은 특수한 경우로서).
• 표준 데이터셋에서 DEIS를 실험적으로 검증하여 효율성과 충실도의 향상을 보인다.

제안 방법

• 확산 모델에 대한 주변 등가 SDE/ODE를 분석하고 이산화 오차를 식별한다.
• 확률 흐름의 준선형 ODE에 대한 Exponential Integrator(EI)를 도입하고 이를 DEIS에 적용한다.
• score를 epsilon_theta와 L_t를 사용하여 매개변수화하여 학습과 샘플링의 안정성을 높인다.
• ODE 변환을 통해 t AB-DEIS, rho RK-DEIS, rho AB-DEIS를 포함한 DEIS 변형을 개발한다.
• 정밀도를 높이기 위해 epsilon_theta의 고차 다항식 외삽(P_r 외삽)을 도입한다.
• 결정론적 DDIM이 VPSDE 하에서 DEIS의 특수한 경우임을 보여주며, 이산화에 기초한 정당화를 제공한다.

실험 결과

연구 질문

• RQ1 적합 오류와 이산화 오류가 확산 모델 샘플링 품질에 어떤 영향을 미치는가?
• RQ2 EI 기반 이산화가 이산화 오차를 줄이고 적은 NFE로도 고품질 샘플을 가능하게 하는가?
• RQ3 특정 순방향 프로세스에서 DDIM이 DEIS 이산화에 해당하는가, 그리고 DEIS가 VPSDE를 넘어 일반화될 수 있는가?
• RQ4 epsilon_theta의 고차 다항식 외삽이 제한된 NFE에서 샘플링 정밀도를 더 개선하는가?

주요 결과

• DEIS는 적은 수의 NFE로도 높은 충실도 샘플을 생성할 수 있다(예: CIFAR-10에서 10 NFEs에 대해 4.17 FID, 20 NFEs에 대해 2.86 FID).
• EI 기반 이산화는 준선형 구조 및 점수 근사 오차를 더 잘 다룸으로써 Euler 및 표준 해석기보다 우수하다.
• score를 s_theta = -L_t^{-T} epsilon_theta로 매개변수화하고 epsilon_theta를 사용하는 것이 직접적인 점수 목표보다 정확도를 향상시킨다.
• 결정론적 DDIM은 VPSDE 하에서 DEIS의 특수한 경우로 나타나며 그 효과에 대한 이론적 이산화 관점을 제공한다.
• epsilon_theta의 고차 다항식 외삽(P_r)은 이산화 오차를 더 줄이고 적은 스텝으로 샘플링을 향상시킨다.
• DEIS 변형(rho RK-DEIS, rho AB-DEIS, t AB-DEIS)은 제한된 NFEs에서 기존 샘플러(DDPM, DDIM, PNDM, FastDPM)보다 일관되게 우수하다.