[논문 리뷰] Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise

Arpit Bansal, Eitan Borgnia외 7명|arXiv (Cornell University)|2022. 08. 19.

Generative Adversarial Networks and Image Synthesis인용 수 105

한 줄 요약

논문은 확산 유사 생성 모델이 가우시안 노이즈뿐 아니라 임의의 결정적 이미지 열화를 기반으로 구축될 수 있음을 보여주고, 고품질 이미지 생성을 위한 역전을 위한 안정적 샘플링 방법(Algorithm 2)을 도입한다.

ABSTRACT

Standard diffusion models involve an image transform -- adding Gaussian noise -- and an image restoration operator that inverts this degradation. We observe that the generative behavior of diffusion models is not strongly dependent on the choice of image degradation, and in fact an entire family of generative models can be constructed by varying this choice. Even when using completely deterministic degradations (e.g., blur, masking, and more), the training and test-time update rules that underlie diffusion models can be easily generalized to create generative models. The success of these fully deterministic models calls into question the community's understanding of diffusion models, which relies on noise in either gradient Langevin dynamics or variational inference, and paves the way for generalized diffusion models that invert arbitrary processes. Our code is available at https://github.com/arpitbansal297/Cold-Diffusion-Models

연구 동기 및 목표

• 가우시안 노이즈를 넘어 임의의 열화를 기반으로 구축된 일반화된 확산 모델을 탐구한다.
• 간단한 l1 손실을 사용하여 이러한 열화를 역전시키도록 복원 네트워크를 훈련한다.
• 결정적 열화로부터 높은 품질의 생성을 얻을 수 있는 강건한 샘플링 절차를 개발한다.

제안 방법

• x0를 심각도 t로 xt로 변환하는 열화 연산자 D를 정의하고, xt에서 x0를 근사하도록 복원 네트워크 R를 정의한다.
• L1 손실로 E_x ||R(D(x,t),t) - x||를 최소화하여 R을 훈련한다.
• 불완전한 역전을 보완하기 위한 샘플링을 위한 Algorithm 2를 제안하고, x_{s-1} = x_s - D(R(x_s,s),s) + D(R(x_s,s),s-1) 이 성립하도록 한다.
• R이 완벽하지 않아도 선형 열화 클래스에 대해 Algorithm 2가 x_s = D(x0,s)를 회복한다는 것을 증명한다.
• MNIST, CIFAR-10, CelebA에서 디블러링(deblurring), 인페인팅(inpainting), 초해상도(super-resolution), snowification 및 기타 변환에 대한 생성 및 역전을 시연한다.
• FID, SSIM, 및 RMSE를 사용하여 열화된 상태, 직접 재구성, 샘플링된 재구성을 비교한다.

실험 결과

연구 질문

• RQ1 확산 모델을 가우시안 노이즈를 넘어 임의의 결정적 열화에 일반화할 수 있는가?
• RQ2 복원 모델이 불완전할 때도 고품질 생성을 가능하게 하는 안정적인 샘플링 알고리즘이 존재하는가?
• RQ3 서로 다른 결정적 변환(디블러링, 인페인팅, 초해상도, 스노우)이 재구성 품질과 분포 유사성에 어떤 영향을 미치는가?
• RQ4 블러나 마스킹과 같은 비노이즈 열화를 사용한 무조건 생성(unconditional generation)을 Cold Diffusion이 지원할 수 있는가?

주요 결과

• 완전한 결정론적 확산 프레임워크는 복원과 열화를 번갈아 수행하여 무작위성을 사용하지 않고도 사진 실재 같은 이미지를 생성할 수 있다.
• Algorithm 2는 복원 오차에 대한 안정성을 제공하고, R이 불완전하더라도 선형 열화에 대해 D(x0,s)를 회복할 수 있다.
• 이 프레임워크 아래 학습된 디블러링, 인페인팅 및 초해상도 모델은 직접 재구성에 비해 향상된 FID 점수를 보이며 데이터 매니폴드에 더 가까이 정렬됨을 나타낸다.
• 스노우 및 블러 작업에서 샘플링된 재구성은 때때로 RMSE를 증가시키거나 PSNR을 낮추더라도 분포 유사성(FID) 측면에서 직접 재구성보다 우수할 수 있다.
• 이 방법은 블러를 이용한 생성으로 확장될 수 있으며, 결과는 높은 충실도를 시사하지만 다양성은 가변적일 수 있으며 animorphosis 같은 다른 변환으로 확장될 수 있다.