[논문 리뷰] Pseudo Numerical Methods for Diffusion Models on Manifolds

Luping Liu, Yi Ren외 2명|arXiv (Cornell University)|2022. 02. 20.

Advanced Neuroimaging Techniques and Applications인용 수 125

한 줄 요약

이 논문은 DDPM을 매니폴드에서의 미분방정식 해법으로 재구성하고, 고차 방법의 기울기 부분과 비선형 전달 부분을 결합하여 품질을 손상시키지 않으면서 샘플링을 가속하는 의사 수치법(PNDMs)을 제안한다.

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) can generate high-quality samples such as image and audio samples. However, DDPMs require hundreds to thousands of iterations to produce final samples. Several prior works have successfully accelerated DDPMs through adjusting the variance schedule (e.g., Improved Denoising Diffusion Probabilistic Models) or the denoising equation (e.g., Denoising Diffusion Implicit Models (DDIMs)). However, these acceleration methods cannot maintain the quality of samples and even introduce new noise at a high speedup rate, which limit their practicability. To accelerate the inference process while keeping the sample quality, we provide a fresh perspective that DDPMs should be treated as solving differential equations on manifolds. Under such a perspective, we propose pseudo numerical methods for diffusion models (PNDMs). Specifically, we figure out how to solve differential equations on manifolds and show that DDIMs are simple cases of pseudo numerical methods. We change several classical numerical methods to corresponding pseudo numerical methods and find that the pseudo linear multi-step method is the best in most situations. According to our experiments, by directly using pre-trained models on Cifar10, CelebA and LSUN, PNDMs can generate higher quality synthetic images with only 50 steps compared with 1000-step DDIMs (20x speedup), significantly outperform DDIMs with 250 steps (by around 0.4 in FID) and have good generalization on different variance schedules. Our implementation is available at https://github.com/luping-liu/PNDM.

연구 동기 및 목표

• 확산을 매니폴드 제약 미분방정식으로 다루어 품질 저하 없이 DDPM의 샘플링을 더 빠르게 만들도록 동기를 부여한다.
• 고밀도 데이터 매니폴드에 머물기 위해 비선형 전달 부분을 사용하는 의사 수치법(PNDMs)을 개발한다.
• DDIM이 의사 수치법의 특수한 경우임을 보이고 최적 성능 변형을 식별한다.
• 표준 데이터셋에서 샘플 품질을 유지하거나 개선하면서 PNDMs가 큰 속도 향상(예: 20배)을 달성함을 보인다.

제안 방법

• 매니폴드 제약하에서 DDPM 역과정을 지배하는 미분방정식을 도출한다.
• 전통적 수치해법을 기울기(ε_θ) 부분과 전달(part)으로 분리하고, PN 방법을 형성하기 위해 비선형 전달 부분을 도입한다.
• DDIMs를 단순 PN 방법으로 동등시하고 의사 선형 다단계 방법(PLMS)과 의사 룬게-쿠타 변형(PRK)으로 제안한다.
• 선형 다단계 방법을 주 기울기 부분으로 사용하고 데이터 매니폴드에 머무르도록 맞춤 전달 부분을 구성한다.
• 수렴성 증명: S/P-NDMs는 지역 오차가 3차이고 2차 수렴한다.
• DDIMs, S-PNDMs, F-PNDMs에 대한 알고리즘적 설명을 제공하고 처음 세 단계는 Runge-Kutta를 통해 설명하고 PLMS로 전환한다.

실험 결과

연구 질문

• RQ1 의사 수치법(PNDMs)을 사용하여 데이터 매니폴드에서 역과정을 해결함으로써 확산 모델 샘플링을 가속할 수 있는가?
• RQ2 감소된 스텝 수에서 의사 수치법(PNDMs)이 전통적인 수치 해법과 DDIM보다 샘플 품질을 더 우수하게 만드는가?
• RQ3 기울기 부문과 전달 부문이 매니폴드 정렬된 샘플과 수렴 보장을 유지하기 위해 어떻게 상호작용하는가?

주요 결과

• PNDMs는 CIFAR-10 및 CelebA에서 1000단계 DDIM보다 최대 20배 빠른 샘플링을 가능하게 하며 품질 저하가 없다.
• PNDMs는 감소된 스텝에서 CelebA에서 새로운 최첨단 FID 2.71을 달성한다.
• S-PNDMs와 F-PNDMs는 CIFAR-10 및 CelebA에서 낮은 스텝 수에서도 FID를 눈에 띄게 개선하고 분산 스케줄에 걸쳐 일반화한다.
• DDIMs는 PN 방법의 특수한 경우로서 그들의 성능에 대한 새로운 해석을 제공한다.
• 이론적 분석은 S/F-PNDMs가 3차 로컬 오차를 가지며 2차 수렴을 보인다고 나타낸다.