[논문 리뷰] SEEDS: Exponential SDE Solvers for Fast High-Quality Sampling from Diffusion Models

Martin Gonzalez, Nelson Fernández외 4명|arXiv (Cornell University)|2023. 05. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 5

한 줄 요약

SEEDS는 확산 모델을 위한 새로운 유형의 확률적 지수 적분기 솔버를 소개하며, SDE 해의 선형 및 확률적 성분을 해석적으로 계산함으로써 기존 SDE 방법보다 최대 5배 빠르게 최신 기준의 샘플링 품질을 달성한다. 학습 또는 파rameter 조정 없이도 성능을 발휘하며, 강한 수렴 보장이 있으며 기능 평가 횟수를 크게 줄여 고해상도 이미지 생성을 가능하게 한다.

ABSTRACT

A potent class of generative models known as Diffusion Probabilistic Models (DPMs) has become prominent. A forward diffusion process adds gradually noise to data, while a model learns to gradually denoise. Sampling from pre-trained DPMs is obtained by solving differential equations (DE) defined by the learnt model, a process which has shown to be prohibitively slow. Numerous efforts on speeding-up this process have consisted on crafting powerful ODE solvers. Despite being quick, such solvers do not usually reach the optimal quality achieved by available slow SDE solvers. Our goal is to propose SDE solvers that reach optimal quality without requiring several hundreds or thousands of NFEs to achieve that goal. We propose Stochastic Explicit Exponential Derivative-free Solvers (SEEDS), improving and generalizing Exponential Integrator approaches to the stochastic case on several frameworks. After carefully analyzing the formulation of exact solutions of diffusion SDEs, we craft SEEDS to analytically compute the linear part of such solutions. Inspired by the Exponential Time-Differencing method, SEEDS use a novel treatment of the stochastic components of solutions, enabling the analytical computation of their variance, and contains high-order terms allowing to reach optimal quality sampling $\sim3$-$5 imes$ faster than previous SDE methods. We validate our approach on several image generation benchmarks, showing that SEEDS outperform or are competitive with previous SDE solvers. Contrary to the latter, SEEDS are derivative and training free, and we fully prove strong convergence guarantees for them.

연구 동기 및 목표

• 기존 SDE 솔버에서 일반적인 수천 번의 기능 평가 횟수(NFE)가 필요한 것을 방지하고 최적의 샘플링 품질을 달성하는 SDE 솔버를 개발하는 것.
• 학습이 없는 ODE 솔버에서 관찰되는 속도와 품질 간의 상충 관계를 극복하여 SDE 수준의 품질을 확보하는 것.
• 유도 없이 학습 없이도 다양한 확산 모델 아키텍처 및 데이터셋에서 높은 성능을 유지하는 SDE 솔버를 설계하는 것.
• 기존 연구에서 부족했던 확산 모델 맥락에서 SDE 솔버의 강한 수렴 및 약한 수렴 보장을 포함한 엄밀한 이론적 수렴 보장 제공.
• SDE 해의 선형 및 확률적 성분을 해석적으로 다루어 지수 적분기 방법을 확률적 설정으로 일반화하는 것.

제안 방법

• 반선형 SDE 해의 지수 표현을 사용하여 해의 선형 부분을 분리하고 해석적으로 계산함으로써 안정성과 정확도를 향상시킴.
• 해의 표현식 내 통합을 단순화하기 위해 새로운 변수변환 변환을 도입하여 결정론적 성분의 보다 우수한 근사 가능성을 확보함.
• 스토크래틱 성분의 분산을 $φ$-함수를 사용해 해석적으로 계산함으로써 수치 근사 없이 효율적이고 정확한 통합이 가능함.
• 소음 분해 전략을 도입하여 고차수 수치 근사가 마르코프 체인을 형성하도록 함으로써 해의 품질과 수렴성을 향상시킴.
• 전체 스토크래틱 테일러 급수를 활용한 단순화된 이토-테일러 전개를 통해 이론적 엄밀성을 확보한 반면, 이전 연구에서는 점진적 접근 방식을 사용함.
• SEEDS는 추가 학습 또는 하이퍼파rameter 조정 없이도 즉시 사용 가능한 샘플러로 구현되었으며, EDM 및 VP를 포함한 다양한 확산 모델 프레임워크와 호환됨.

실험 결과

연구 질문

• RQ1 지수 적분기 방법을 확률적 설정으로 일반화하여 확산 모델에서 고품질 샘플링을 달성할 수 있는가?
• RQ2 SDE 해의 선형 및 확률적 성분을 해석적으로 계산함으로써 더 적은 기능 평가 횟수로도 수렴 속도를 높이고 샘플 품질을 유지하거나 향상시킬 수 있는가?
• RQ3 유도 없이 학습 없이도 최신 기준 FID 점수를 확보하고 강력한 이론적 수렴 보장을 제공하는 SDE 솔버를 설계할 수 있는가?
• RQ4 제안된 소음 분해 방법은 결정론적 등가물에 비해 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ5 이 방법은 EDM-프리컨디셔닝 및 VP-확산 모델을 포함한 다양한 확산 모델 아키텍처에서 유연하고 효과적으로 유지되는가?

주요 결과

• SEEDS-3는 CIFAR-10 VP-무조건적 생성에서 FID 1.88을 기록하여, DPM-Solver의 36 NFE 대비 90 NFE를 사용함에도 불구하고 약 5배 더 빠른 속도로 두 번째로 우수한 방법보다 뛰어난 성능을 보였다.
• ImageNet-64 클래스 조건부 생성에서 SEEDS-3는 270 NFE에서 FID 1.38을 달성했으며, 최적화된 EDM 샘플러(511 NFE에서 FID 1.36)의 성능을 거의 동일하게 유지하면서도 거의 두 배 빠른 속도를 기록했다.
• 모든 벤치마크, 즉 CelebA-64 및 CIFAR-10에서 SEEDS-3는 이전 SDE 솔버보다 2–5배 더 빠르면서도 샘플 품질을 유지하거나 향상시켰다.
• 이론적 증명을 포함한 강한 수렴 보장을 제공하며, DPM 문헌에서 기존 SDE 솔버는 종종 이러한 엄밀한 분석을 생략하는 것과 대비됨.
• SEEDS는 $S_{\text{churn}}$ 와 같은 확률적 요소에 민감성을 보이지만, 낮은 NFE에서도 EDM과 유사한 성능을 기록하여 향후 최적화 잠재력이 있음을 시사함.
• 소음 분해 방법은 최적임을 입증했으며, 결정론적 등가물이 없어 기존 솔버에 비해 핵심적인 이론적 및 실용적 이점을 제공함.