[논문 리뷰] Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models

Fan Bao, Chongxuan Li외 2명|arXiv (Cornell University)|2022. 01. 17.

Generative Adversarial Networks and Image Synthesis인용 수 74

한 줄 요약

Analytic-DPM은 확산 확률 모델에서 최적의 역분산에 대한 학습 없이 해석적 추정치를 제공하여 추가 학습 없이도 더 빠르고 가능도-정확한 샘플링을 가능하게 한다. 이는 스코어 함수로부터 분산과 KL 경계를 도출하고 동적 프로그래밍을 사용하여 효율적인 추론 궤적들을 찾는다.

ABSTRACT

Diffusion probabilistic models (DPMs) represent a class of powerful generative models. Despite their success, the inference of DPMs is expensive since it generally needs to iterate over thousands of timesteps. A key problem in the inference is to estimate the variance in each timestep of the reverse process. In this work, we present a surprising result that both the optimal reverse variance and the corresponding optimal KL divergence of a DPM have analytic forms w.r.t. its score function. Building upon it, we propose Analytic-DPM, a training-free inference framework that estimates the analytic forms of the variance and KL divergence using the Monte Carlo method and a pretrained score-based model. Further, to correct the potential bias caused by the score-based model, we derive both lower and upper bounds of the optimal variance and clip the estimate for a better result. Empirically, our analytic-DPM improves the log-likelihood of various DPMs, produces high-quality samples, and meanwhile enjoys a 20x to 80x speed up.

연구 동기 및 목표

• 역분산 추정 문제를 해결하여 DPM(확산 probabilistic 모델)에 대해 속도와 가능도 일관된 추론을 촉진한다.
• 스코어 함수의 관점에서 최적의 역 분산과 KL 발산에 대한 해석적 형태를 도출한다.
• Monte Carlo와 사전 학습된 스코어 모델을 통해 이러한 양을 추정하는 학습 없이 작동하는 프레임워크(Analytic-DPM)를 제안한다.
• 스코어 모델 근사에서 생기는 바이어스를 줄이고 분산 추정치를 클리핑하기 위한 경계를 도입한다.
• Analytic-DPM이 로그가능도와 샘플 품질을 향상시키는 동시에 상당한 속도 향상을 제공한다는 것을 실증적으로 보여준다.

제안 방법

• KL을 최소화하는 역 과정에서의 최적 역 평균과 분산이 스코어 함수에 의존하는 해석적 형태를 가진다는 것을 증명한다 (정리 1).
• 사전 학습된 스코어 모델의 몬테카를로 평균을 통해 최적의 역 분산 9를 a06Gamma 및 Eq. (9)을 사용해 추정한다.
• 최적 분산에 대한 상한 및 하한(정리 2)을 도출하고 바이어스를 줄이기 위해 추정치를 클리핑한다.
• 더 짧은 순방향 궤적을 구성하고 최소 비용 경로 DP(Watson et al., 2021)를 사용하여 최적 샘플링 일정(Eq. (14))을 결정한다.
• 프레임워크를 연속 타임스텝으로 확장하고 궤적 최적화(OT) 및 ET 전략을 논의한다.
• 사전 학습된 스코어 모델과 자기 훈련 스코어 모델에 대해 데이터셋(CIFAR-10, CelebA, ImageNet)에서 접근법을 검증하고 DDPM 및 DDIM 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 DPM에서 최적의 역 분산과 KL 발산을 스코어 함수의 관점에서 해석적으로 표현할 수 있는가?
• RQ2 학습 없이 작동하는 Analytic-DPM이 사전 학습된 스코어 모델로부터 이 최적 양들을 효율적으로 추정할 수 있는가?
• RQ3 분산 경계 기반의 클리핑이 바이어스와 성능에 어떤 영향을 미치는가?
• RQ4 DP를 통해 최단 경로나 최적 구성 궤적을 사용하는 것이 Analytic-DPM에서 로그가능도와 샘플 품질을 유지하거나 향상시키는가?
• RQ5 Analytic-DPM이 서로 다른 순방향 프로세스(DDPM 및 DDIM)와 데이터셋에 적용 가능한가?

주요 결과

• 최적의 역 평균과 분산은 스코어 함수에 대해 해석적 형태를 가진다(정리 1).
• 해석적 분산 추정치는 사전 학습된 스코어 모델로부터 몬테카를로 및 Gamma 통계(Eq. (9))를 사용하여 계산할 수 있다.
• 분산의 경계 지정 및 클리핑은 바이어스를 줄이며 명시적 하한/상한을 제공한다(정리 2).
• 최단 경로 DP는 궤적을 효율적으로 선택하여 방법과 데이터셋 전반에서 로그가능도 및 샘플 품질을 개선하거나 유지하면서 20배에서 80배의 속도향상을 가능하게 한다.
• Analytic-DPM은 ET 및 OT 궤적 하에서 CIFAR-10, CelebA-64, 및 ImageNet-64x64 전체에서 원래 DDPM 대비 로그가능도를 일관되게 향상시키고(표 1), DDIM 기반 샘플링의 FID도 개선한다(표 2).
• Analytic-DPM은 ET/OT 궤적에서 예를 들어 CIFAR-10에서 40x와 같은 상당한 속도 향상을 달성하면서 가능도 및 샘플 품질에서 기준선에 부합하거나 이를 능가한다.