[논문 리뷰] Denoising Diffusion Implicit Models

Jiaming Song, Chenlin Meng외 1명|arXiv (Cornell University)|2020. 10. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 102

한 줄 요약

DDIMs는 DDPM 학습 목표를 재사용하지만 비마르코프 순방향 프로세스를 가능하게 하는 암시 확산 모델로, 훨씬 적은 샘플링 단계로 고품질 이미지 생성을 가능하게 하고 잠재 공간 보간 및 재구성을 가능하게 한다.

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have achieved high quality image generation without adversarial training, yet they require simulating a Markov chain for many steps to produce a sample. To accelerate sampling, we present denoising diffusion implicit models (DDIMs), a more efficient class of iterative implicit probabilistic models with the same training procedure as DDPMs. In DDPMs, the generative process is defined as the reverse of a Markovian diffusion process. We construct a class of non-Markovian diffusion processes that lead to the same training objective, but whose reverse process can be much faster to sample from. We empirically demonstrate that DDIMs can produce high quality samples $10 imes$ to $50 imes$ faster in terms of wall-clock time compared to DDPMs, allow us to trade off computation for sample quality, and can perform semantically meaningful image interpolation directly in the latent space.

연구 동기 및 목표

• DDPM 샘플링 효율성과 GAN과 같은 성능 사이의 간극을 제시한다.
• DDPM 학습 목표를 보존하는 더 넓은 범주의 순방향 프로세스를 도입한다.
• DDIMs를 더 빠르고 제어 가능한 생성을 가능하게 하는 결정론적 암시 모델로 제안한다.
• 빠른 샘플링, 보간 및 재구성 능력을 포함한 실증적 이점을 제시한다.

제안 방법

• Markovian에서 비마르코프 순방향 확산으로 일반화하되 DDPM과 동일한 대리 목표를 보존한다.
• x_t로부터 x_0의 예측을 f_theta^(t)(x_t)를 통해 이용하는 학습 가능한 생성 프로세스 p_theta(x_0:T)를 정의한다.
• 적합한 감마에 대해 DDPM의 L_gamma 목표와 동등한 통합된 변분 목표 J_sigma를 도출하여 비마르코프 순방향에서도 DDPM 학습의 재사용을 가능하게 한다.
• 예측된 x_0을 x_{t-1을 향한 결정적 경로와 결합하는 DDIM 샘플링 업데이트를 도출하여 (eta=0)의 결정적 샘플링 또는 (eta>0)의 확률적 샘플링을 가능하게 한다.
• 재학습 없이 더 적은 단계로 샘플링하도록 forward-subset 궤적 tau를 사용한 가속 생성을 제안한다.

실험 결과

연구 질문

• RQ1 비마르코프 순방향 프로세스가 DDPM과 동일한 변분 목표를 제공하면서 더 빠르거나 더 제어 가능한 샘플링을 가능하게 할 수 있는가?
• RQ2 고수준 시맨틱을 보존하고 잠재 공간 보간을 가능하게 하는 결정적 또는 반결정적 샘플링 체계를 어떻게 구성할 수 있는가?
• RQ3 DDIMs와 DDPMs를 비교했을 때 샘플링 속도, 샘플 품질, 재구성 능력 간의 트레이드오프는 무엇인가?
• RQ4 사전 학습된 DDPM 모델을 재학습 없이 비마르코프 순방향 프로세스에 재목적화할 수 있는가?
• RQ5 DDIM 샘플러의 연속 시간 ODE 해석이 신경 ODE 및 확률 흐름 방법과 연결되는가?

주요 결과

• DDIMs는 DDPMs에 비해 10배에서 50배 빠른 샘플링을 달성하면서도 높은 샘플 품질을 유지한다.
• DDIMs는 같은 초기 잠재 x_T가 경로 길이가 달라져도 유사한 고수준 특징을 갖는 샘플을 생성하는 일관성 특성을 보인다.
• 결정론적 DDIM 샘플링은 샘플 간의 의미 있는 잠재 공간 보간을 가능하게 한다.
• DDIMs는 잠재 코드로부터 관측치를 낮은 오차로 재구성할 수 있으며, 확률적 DDPM 샘플링과는 다르다.
• 샘플링 단계를 줄여도 재학습이 필요하지 않다. DDIMs가 비마르코프 순방향 프로세스를 사용하면서 DDPM 목표를 재사용하기 때문이다.
• 보간 및 재구성 기능은 암시적 모델 및 신경 ODE와 유사한 동작을 보인다.