[논문 리뷰] UniPC: A Unified Predictor-Corrector Framework for Fast Sampling of Diffusion Models

Wenliang Zhao, Lujia Bai외 3명|arXiv (Cornell University)|2023. 02. 09.

Cell Image Analysis Techniques인용 수 29

한 줄 요약

UniPC는 학습 없이 통합 예측-정정자 프레임워크를 도입하여 확산 모델 샘플링을 가속하고, 임의 차수에서 추가 모델 평가 없이도 더 높은 차수의 정확성을 달성하며, 조건부 및 비조건부 작업에서 매우 적은 함수 평가로 시연된다.

ABSTRACT

Diffusion probabilistic models (DPMs) have demonstrated a very promising ability in high-resolution image synthesis. However, sampling from a pre-trained DPM is time-consuming due to the multiple evaluations of the denoising network, making it more and more important to accelerate the sampling of DPMs. Despite recent progress in designing fast samplers, existing methods still cannot generate satisfying images in many applications where fewer steps (e.g., $<$10) are favored. In this paper, we develop a unified corrector (UniC) that can be applied after any existing DPM sampler to increase the order of accuracy without extra model evaluations, and derive a unified predictor (UniP) that supports arbitrary order as a byproduct. Combining UniP and UniC, we propose a unified predictor-corrector framework called UniPC for the fast sampling of DPMs, which has a unified analytical form for any order and can significantly improve the sampling quality over previous methods, especially in extremely few steps. We evaluate our methods through extensive experiments including both unconditional and conditional sampling using pixel-space and latent-space DPMs. Our UniPC can achieve 3.87 FID on CIFAR10 (unconditional) and 7.51 FID on ImageNet 256$ imes$256 (conditional) with only 10 function evaluations. Code is available at https://github.com/wl-zhao/UniPC.

연구 동기 및 목표

• 고해상도 이미지 합성을 위한 확산 확률 모델(DPM)의 빠른 샘플링을 촉진한다.
• 추가 모델 평가 없이 샘플링 정확도를 높이는 학습 없이 작동하는 프레임워크를 개발한다.
• 범용 지표(Unified) 예측자(UniP)와 범용 보정자(UniC)를 제공하여 임의의 차수로 작동하는 유연한 UniPC 프레임워크를 만든다.

제안 방법

• 추가 평가 없이 현재 및 이전 모델 출력값을 사용해 현재 추정치를 정제하는 보정자 UniC-p를 도입한다.
• 이전 포인트를 활용해 p번째 차수의 정확성을 달성하는 예측자 UniP-p를 도출한다.
• UniP와 UniC를 결합해 닫힌 형식의 차수-통일 프레임워크를 갖는 통합 예측-정정자 계열 UniPC를 만든다(어떤 차수에도 사용 가능, p+1 정확도).
• 정칙성 조건하에서 UniC-p가 (p+1)차 정확도를 달성하고, UniP-p가 p차 정확도를 산출함을 보이며 더 높은 차수의 UniPC 변형을 가능하게 한다.
• 과거 결과를 재사용해 효율을 높이는 다중 스텝 업데이트를 가능하게 하고, 기존 솔버와 함께 작동하여 정확도 차수를 높이는 변형(UniPC-p)을 제공한다.

실험 결과

연구 질문

• RQ1 학습 없이 작동하는 예측-정정 프레임워크가 함수 평가를 늘리지 않으면서 확산 모델 샘플러의 정확도 차수를 높일 수 있는가?
• RQ2 UniPC가 임의의 차수에 대한 통합 해석적 형식을 제공하는가, 그리고 조건부/비조건부 설정에서 기존의 빠른 샘플러들과 어떻게 비교되는가?
• RQ3 후처리 보정기로 적용될 때 UniC가 기존 샘플러를 어느 정도까지 개선할 수 있는가?
• RQ4 픽셀 공간 및 잠재 공간 DPM 전반에 걸친 UniPC의 실용적 트레이드오프(속도, 메모리, 안정성)는 어떤가?

주요 결과

• UniPC는 5–10 함수 평가(NFE)에서 이전 방법보다 더 높은 샘플링 품질을 달성하며, 10 NFE에서 CIFAR10(비조건)에서 3.87 FID, ImageNet 256×256(조건)에서 7.51 FID를 달성한다.
• UniC는 기존 샘플러 뒤에 적용되어 추가 모델 평가 없이 정확도를 높일 수 있으며, UniP는 차수에 호환되는 예측자를 제공하여 일관된 (p+1)차 프레임워크를 가능하게 한다.
• 통합 프레임워크는 해석적 형태로 임의의 차수를 지원하고, 다중 스텝 UniPC 업데이트는 과거 결과를 재사용하여 속도와 메모리 측면에서 DPM-Solver++에 비해 효율적이다.
• UniPC는 픽셀 공간 및 잠재 공간 확산 모델을 모두 개선하고, 분류기 가이드 및 분류기-자유 가이드 하의 가이드 샘플링을 향상시킨다.
• 실험 결과 UniPC는 비조건부 및 조건부 작업과 다양한 데이터셋(CIFAR10, FFHQ, LSUN, ImageNet)에서 매우 낮은 NFE에서도 기존의 빠른 샘플러를 능가한다.
• Customizable order schedules within UniPC can yield better results than simply increasing order, and UniPC maintains competitive inference speed and memory usage.