[논문 리뷰] On Fast Sampling of Diffusion Probabilistic Models

Zhifeng Kong, Wei Ping|arXiv (Cornell University)|2021. 05. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 53

한 줄 요약

FastDPM은 연속 확산 단계들을 연속적인 노이즈 레벨에 매핑하여 확산 모델 샘플링을 재훈련 없이 가속하는 통일된 프레임워크를 제시하며, 이미지와 오디오 작업에서 샘플 품질을 개선하는 새로운 변형들을 생성한다.

ABSTRACT

In this work, we propose FastDPM, a unified framework for fast sampling in diffusion probabilistic models. FastDPM generalizes previous methods and gives rise to new algorithms with improved sample quality. We systematically investigate the fast sampling methods under this framework across different domains, on different datasets, and with different amount of conditional information provided for generation. We find the performance of a particular method depends on data domains (e.g., image or audio), the trade-off between sampling speed and sample quality, and the amount of conditional information. We further provide insights and recipes on the choice of methods for practitioners.

연구 동기 및 목표

• 재훈련 없이 빠른 확산 모델 샘플링을 위한 통일된 프레임워크(FastDPM)를 제안한다.
• 불연속 확산 단계를 연속 단계로 일반화하고 연속 노이즈 레벨과의 일대일 대응을 확립한다.
• 샘플링 속도를 높이기 위해 길이 S << T인 근사 확산 과정과 역과 과정을 구성한다.
• 이미지와 오디오 도메인 전반에서 FastDPM을 평가하여 방법 선택에 대한 실용적인 가이드를 제공한다.

제안 방법

• 노이즈 스케줄의 감마 기반 확장을 이용하여 연속 확산 단계 t와 노이즈 레벨 r 사이의 일대일 매핑을 도입한다.
• r1>r2>...>rS의 짧은 노이즈 레벨 시퀀스와 대응 분산 ηs를 가진 근사 확산 과정을 정의한다.
• 동일한 노이즈 레벨에 조건화된 근사 역과정을 정의하고 두 가지 샘플링 변형: DDPM-rev (확률적)와 DDIM-rev (결정론적).
• 노이즈 레벨에 대한 두 가지 스케줄링 전략을 탐색: VAR(분산에서)와 STEP(선정된 확산 단계에서).
• DDIM-rev가 FastDPM 내 DDIM 프레임워크의 특수한 경우에 해당함을 보이고, 이전 방법들(DDIM, DiffWave)과의 관련성을 제시한다.
• 확률성(κ)과 조건 정보의 양이 도메인 간 성능에 어떤 영향을 미치는지 평가한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 확산 모델 샘플링을 가속하면서 샘플 품질을 유지하거나 개선할 수 있는 방법은?
• RQ2 연속 확산 단계와 노이즈 레벨의 일대일 매핑을 이미지 및 오디오 생성 작업에 사용할 때의 영향은 무엇인가?
• RQ3 VAR와 STEP 노이즈 레벨 스케줄, 그리고 DDPM-rev와 DDIM-rev 역과정 간의 조합 중 어떤 조합이 다양한 도메인에서 최상의 트레이드오프를 제공하는가?
• RQ4 조건 정보의 양이 FastDPM에서 선호되는 역과정과 확률성에 어떤 영향을 미치는가?

주요 결과

• Deterministic DDIM-rev tends to outperform stochastic DDPM-rev in image generation, while DDPM-rev outperforms DDIM-rev in audio synthesis.
• In image tasks, reducing stochasticity (lower κ) generally improves quality; in audio tasks, higher stochasticity (higher κ) can improve quality.
• VAR and STEP perform similarly, with VAR slightly better for small S across several domains; the advantage shifts modestly as S increases.
• The amount of conditional information influences the preferred reverse process and stochasticity level, with more conditioning reducing the need for stochasticity.
• FastDPM achieves high-quality samples with S much smaller than the original DDPM length T, illustrating effective speed-quality trade-offs across datasets.