[논문 리뷰] Deep Equilibrium Approaches to Diffusion Models

Ashwini Pokle, Zhengyang Geng외 1명|arXiv (Cornell University)|2022. 10. 23.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 소음 제거 확산 은닉 모델(DDIM)을 위한 딥 균형(DEQ) 설정을 제안하며, 기존의 순차적 샘플링 과정을 모든 소음 제거 단계에 걸쳐 병렬로 동시에 고정점 최적화하는 방식으로 대체한다. 이 방법은 더 빠른 추론과 암시적 미분을 통한 모델 역전파의 급격한 가속을 가능하게 하여, CIFAR-10과 CelebA에서 최대 2배의 속도 향상을 이끌어내며 높은 지각적 품질을 유지한다.

ABSTRACT

Diffusion-based generative models are extremely effective in generating high-quality images, with generated samples often surpassing the quality of those produced by other models under several metrics. One distinguishing feature of these models, however, is that they typically require long sampling chains to produce high-fidelity images. This presents a challenge not only from the lenses of sampling time, but also from the inherent difficulty in backpropagating through these chains in order to accomplish tasks such as model inversion, i.e. approximately finding latent states that generate known images. In this paper, we look at diffusion models through a different perspective, that of a (deep) equilibrium (DEQ) fixed point model. Specifically, we extend the recent denoising diffusion implicit model (DDIM; Song et al. 2020), and model the entire sampling chain as a joint, multivariate fixed point system. This setup provides an elegant unification of diffusion and equilibrium models, and shows benefits in 1) single image sampling, as it replaces the fully-serial typical sampling process with a parallel one; and 2) model inversion, where we can leverage fast gradients in the DEQ setting to much more quickly find the noise that generates a given image. The approach is also orthogonal and thus complementary to other methods used to reduce the sampling time, or improve model inversion. We demonstrate our method's strong performance across several datasets, including CIFAR10, CelebA, and LSUN Bedrooms and Churches.

연구 동기 및 목표

• 확산 모델의 샘플링 속도가 느린 이유는 본질적으로 순차적인 소음 제거 과정에 기인하기 때문이다.
• 표준 확산 모델에서는 계산 비용이 너무 많이 들기 때문에, 모델 역전파와 같은 작업을 위해 샘플링 체인을 통한 효율적인 역전파를 가능하게 하기 위함이다.
• 전체 DDIM 샘플링 체인을 다변수 고정점 시스템으로 모델링하여 확산 모델과 딥 균형(DEQ) 프레임워크를 통합하기 위함이다.
• DEQ 설정이 다중 GPU에 걸쳐 병렬 처리를 가능하게 하여 단일 이미지 생성에도 적용될 수 있음을 보여주기 위함이다.
• DEQ 프레임워크 내 암시적 미분을 통해 기존 순차적 샘플링 대비 모델 역전파 속도가 급격히 향상됨을 보여주기 위함이다.

제안 방법

• T개의 모든 소음 제거 단계를 동시에 해결하는 다변수 고정점 시스템으로 DDIM 샘플링 과정을 재구성하여, 전체 과정을 딥 균형 문제로 모델링한다.
• 블랙박스 루트 솔버(예: 앤더슨 가속)를 사용해 전체 시스템의 고정점을 동시에 병렬로 계산함으로써 다중 GPU 추론을 가능하게 한다.
• DEQ 프레임워크를 통해 암시적 미분을 활용하여 고정점 통과의 기울기를 O(1) 메모리 복잡도로 계산함으로써 전체 계산 그래프를 저장할 필요 없이 처리한다.
• 고정점 시스템에 노이즈 항을 포함시켜 DEQ 설정을 확산 모델의 확률적 변형(예: DDPM)에도 적용할 수 있도록 확장한다.
• 동일한 고정점 솔버를 사용해 단일 이미지 생성과 모델 역전파 모두에 DEQ 프레임워크를 적용한다.
• 잠재 코드 최적화를 위해 DEQ 프레임워크를 활용하여 이미지 복원을 위한 잠재 공간을 조정함으로써 모델 역전파 작업에서 더 빠른 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 전체 DDIM 샘플링 체인이 딥 균형 시스템으로 재구성되어 병렬 추론이 가능할 수 있는가?
• RQ2 순차적 DDIM 대비 DEQ 설정이 수렴 속도와 샘플링 효율성 측면에서 향상되는가?
• RQ3 DEQ 프레임워크 내 암시적 미분이 확산 모델의 모델 역전파를 크게 가속화하는가?
• RQ4 다양한 데이터셋에서 표준 DDIM과 비교했을 때 DEQ-DDIM의 FID 점수와 지각적 품질은 어떠한가?
• RQ5 DEQ 설정은 DDPM과 같은 확률적 확산 모델로 일반화될 수 있는가?

주요 결과

• 표준 순차적 DDIM 대비 DEQ-DDIM은 CIFAR-10과 CelebA에서 샘플링 시간을 최대 2배 빠르게 하며, FID 점수는 유사한 수준을 유지한다.
• DEQ-DDIM를 통한 모델 역전파가 순차적 DDIM보다 훨씬 더 빠른 수렴 속도를 보이며, 효율적인 암시적 기울기 계산 덕분이다.
• DEQ 설정은 단일 이미지 생성 조건에서도 다중 GPU에 걸쳐 병렬 샘플링을 가능하게 하여 표준 확산 모델의 순차 처리에서 발생하는 성능 저하 문제를 해결한다.
• DEQ 역전파를 통해 복원된 초기 잠재 코드가 순차적 DDIM 역전파 대비 원본 이미지를 더 정확히 재생산하며, 더 세밀한 디테일을 유지한다.
• DEQ 프레임워크는 샘플링 체인을 통한 역전파에 대해 O(1) 메모리 복잡도를 지원하여 장기간의 확산 프로세스를 미분하는 데 실현 가능하게 한다.
• 이 방법은 고정점 시스템에 노이즈 항을 포함시켜 확률적 확산 모델인 DDPM 등에도 쉽게 확장 가능하며, 고정점 시스템을 단순히 수정하기만 하면 된다.