[논문 리뷰] DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models

Cheng Lu, Y. Zhou외 4명|arXiv (Cornell University)|2022. 11. 02.

Generative Adversarial Networks and Image Synthesis인용 수 101

한 줄 요약

DPM-Solver++은 학습 없이 작동하는 고차 확산 ODE 솔버로, 가이드 샘플링에 대해 약 15–20단계 만에 고품질 샘플을 달성하며, 가이드 작업에 대해 기존의 빠른 솔버들을 능가합니다.

ABSTRACT

Diffusion probabilistic models (DPMs) have achieved impressive success in high-resolution image synthesis, especially in recent large-scale text-to-image generation applications. An essential technique for improving the sample quality of DPMs is guided sampling, which usually needs a large guidance scale to obtain the best sample quality. The commonly-used fast sampler for guided sampling is DDIM, a first-order diffusion ODE solver that generally needs 100 to 250 steps for high-quality samples. Although recent works propose dedicated high-order solvers and achieve a further speedup for sampling without guidance, their effectiveness for guided sampling has not been well-tested before. In this work, we demonstrate that previous high-order fast samplers suffer from instability issues, and they even become slower than DDIM when the guidance scale grows large. To further speed up guided sampling, we propose DPM-Solver++, a high-order solver for the guided sampling of DPMs. DPM-Solver++ solves the diffusion ODE with the data prediction model and adopts thresholding methods to keep the solution matches training data distribution. We further propose a multistep variant of DPM-Solver++ to address the instability issue by reducing the effective step size. Experiments show that DPM-Solver++ can generate high-quality samples within only 15 to 20 steps for guided sampling by pixel-space and latent-space DPMs.

연구 동기 및 목표

• 확산 확률 모델(DPMs)에서 더 빠르고 고품질의 가이드 샘플링 필요성을 동기 부여합니다.
• 큰 가이던스 스케일에서 기존 고차 솔버의 불안정성 및 학습-테스트 불일치 문제를 식별합니다.
• 데이터 예측 매개화, 임계값 설정, 다단계 전략을 사용한 DPM-Solver++를 제안하여 빠르고 안정적인 가이드 샘플링을 가능하게 합니다.
• 픽셀 스페이스 및 잠재 공간 DPM에서 가이드 샘플링의 효과를 시연합니다.
• 이론적 수렴 보증과 실용 알고리즘을 갖춘 학습-없는 솔버 방법을 제공합니다.

제안 방법

• 확산 ODE를 잡음 예측 모델 epsilon_theta가 아닌 데이터 예측 모델 x_theta로 풉니다.
• 테일러 기반 적분과 해석적 적분 항을 갖춘 2차 단일단계 스킴에 기반한 고차 솔버(DPM-Solver++(2S))를 개발합니다.
• 이전 해를 재사용하여 함수 평가를 줄이는 두 번째 2차 다단계 변형(DPM-Solver++(2M))을 제시합니다.
• 큰 가이던스 스케일에서도 샘플이 학습 데이터 분포의 경계 내에 있도록 임계값 설정을 도입합니다.
• 수렴 보장을 갖춘 알고리즘 1(2S)과 알고리즘 2(2M)를 제공하고, 지수적 적분기 프레임워크와 연결합니다.
• 보완적 솔버를 위한 확산 SDE 형식(SDE-DPM-Solver++ 변형)으로 선택적으로 확장합니다.

실험 결과

연구 질문

• RQ1 학습 없이 작동하는 고차 솔버가 큰 가이던스 스케일에서도 불안정 없이 DPM에 대한 가이드 샘플링을 신뢰성 있게 수행할 수 있는가?
• RQ2 데이터 예측 모델로 ODE를 매개화하는 것이 가이드 샘플링에서 샘플 품질과 안정성에 어떤 영향을 미치는가?
• RQ3 다단계 전략이 단일 단계 고차 방법에 비해 효율을 높이고 불안정을 줄이는가?
• RQ4 <DPM-Solver++>가 픽셀 스페이스와 잠재 공간 모두의 DPM에서 가이드 작업에 효과적인가?
• RQ5 임계값 설정이 고차 가이드 샘플러와 어떻게 상호 작용하여 학습-테스트 불일치를 완화하는가?

주요 결과

• DPM-Solver++는 15–20단계에서 고품질의 가이드 샘플을 생성할 수 있으며, 가이드 샘플링을 위한 기존의 빠른 샘플러들보다 우수합니다.
• 데이터 예측 모델과 임계값 설정을 사용하면 학습-테스트 불일치를 완화하고 큰 가이던스 스케일에서 안정성을 향상시킵니다.
• 두 번째 차수 다단계 변형(2M)은 이전 정보를 재사용해 효율성을 높이고 단일 단계 버전(2S)보다 약간 더 나을 수 있습니다.
• 이 접근법은 픽셀 스페이스와 잠재 공간의 DPM 모두에 적용 가능하므로 가이드 샘플링 작업에 광범위하게 사용될 수 있음을 보여줍니다.
• DPM-Solver++는 DDIM을 1차 경우로 통합 및 확장하고, 강력한 실험적 성능을 갖춘 학습-없는 대안을 제공합니다.