[논문 리뷰] Denoising Diffusion Restoration Models

Bahjat Kawar, Michael Elad외 2명|arXiv (Cornell University)|2022. 01. 27.

Image and Signal Denoising Methods인용 수 240

한 줄 요약

DDR M은 사전 학습된 확산 모델과 SVD 기반 문제 조건화를 이용해 몇 차례의 반복으로도 고품질 영상 복원을 제공하는 일반 선형 역문제용 비지도(unsupervised) 확산 기반 해법이다.

ABSTRACT

Many interesting tasks in image restoration can be cast as linear inverse problems. A recent family of approaches for solving these problems uses stochastic algorithms that sample from the posterior distribution of natural images given the measurements. However, efficient solutions often require problem-specific supervised training to model the posterior, whereas unsupervised methods that are not problem-specific typically rely on inefficient iterative methods. This work addresses these issues by introducing Denoising Diffusion Restoration Models (DDRM), an efficient, unsupervised posterior sampling method. Motivated by variational inference, DDRM takes advantage of a pre-trained denoising diffusion generative model for solving any linear inverse problem. We demonstrate DDRM's versatility on several image datasets for super-resolution, deblurring, inpainting, and colorization under various amounts of measurement noise. DDRM outperforms the current leading unsupervised methods on the diverse ImageNet dataset in reconstruction quality, perceptual quality, and runtime, being 5x faster than the nearest competitor. DDRM also generalizes well for natural images out of the distribution of the observed ImageNet training set.

연구 동기 및 목표

• 다시 학습 없이 다양한 열화 모델에 대해 비지도 복원 가능성을 제시한다.
• 역문제의 후방에서 샘플링하기 위해 사전 학습된 확산 모델을 사전(priors)로 활용한다.
• 확산 노이즈 제거를 선형 역문제 제약에 맞추는 변분 추정 프레임워크를 개발한다.
• SVD를 통한 열화에 조건부인 스펙트럴 공간 확산을 도입하여 다양한 선형 연산자를 다룬다.
• 다양한 태스크와 데이터셋에서의 효율성과 강건성을 시연하고, Out-of-Distribution 이미지 포함

제안 방법

• 측정값에 조건화된 선형 역문제에 대한 포스터리어 샘플링 목표를 형식화한다.
• SVD를 통한 열화 연산자의 스펙트럼 공간에서 확산을 수행하여 관측된 부분과 누락된 부분을 구분한다.
• p_theta와 q_t를 DDRM 하에서 DDPM/DDIM과 유사한 목표를 맞추는 Gaussian 조건부로 정의하여 무조건 확산 모델의 재사용을 가능하게 한다.
• 합리적인 가정을 전제로 DDRM 목표가 DDPM/DDIM 목표와 동등하다는 것을 증명하여 단일 확산 모델로 다중 문제를 해결할 수 있게 한다.
• 효율성 개선 도입: 부분 타임스텝으로 가속 샘플링, 메모리 효율적인 SVD, 사전 학습 확산 모델과의 호환성 보장.
• 복원 태스크를 20-100 NFEs로 해결하기 위한 실용적 알고리즘적 단계(업데이트 규칙)를 제시한다.

실험 결과

연구 질문

• RQ1 DDR M은 각 열화 모델에 대해 재훈련 없이 광범위한 선형 역문제를 비지도적으로 해결할 수 있는가?
• RQ2 열화 연산자의 스펙트ral 도메인에서 확산 모델을 어떻게 활용하여 측정값을 존중하면서 누락 데이터를 충실히 재구성할 수 있는가?
• RQ3 다양한 데이터셋에서 DDR M의 성능, 속도, 메모리 특성은 다른 비지도 프라이어와 비교하여 어떠한가?
• RQ4 하나의 확산 모델이 소음이 있는 측정값을 포함한 초해상도, 디블루링, 인페인팅, 컬러라이제이션 등 여러 복원 태스크를 처리할 수 있는가?

주요 결과

Method	4x Super-Resolution PSNR	4x Super-Resolution SSIM	4x Super-Resolution KID	4x Super-Resolution NFEs	Deblurring PSNR	Deblurring SSIM	Deblurring KID	Deblurring NFEs
Baseline	25.65	0.71	44.90	0	19.26	0.48	38.00	0
DGP	23.06	0.56	21.22	1500	22.70	0.52	27.60	1500
RED	26.08	0.73	53.55	100	26.16	0.76	21.21	500
SNIPS	17.58	0.22	35.17	1000	34.32	0.87	0.49	1000
DDRM	26.55	0.72	7.22	20	35.64	0.95	0.71	20
DDRM-CC	26.55	0.74	6.56	20	35.65	0.96	0.70	20

• DDRM은 ImageNet에서 다수의 태스크에 대해 선도적 비지도 프라이어보다 우수한 성능을 보이며, 종종 NFEs가 훨씬 적다(예: 20대 vs 1500대).
• DDRMs는 무노이즈(noiseless) 및 노이즈가 있는 설정에서 벤치마크 대비 경쟁력 있는 PSNR/SSIM과 훨씬 낮은 KID를 달성할 수 있다.
• DD RM은 다양한 정상 이미지로 일반화되어 다양한 양상로운 결과를 생성하는 강력한 질적 결과를 보여줌으로써 out-of-distribution 일반화 능력을 시연한다.
• SVD를 사용하면 방법은 다양한 열화 연산자를 효율적으로 처리하며, 메모리 사용량을 O(n)으로 최적화하는 경우가 많다.
• 이론적 결과: 적절한 스케줄링으로 DDRM 목표가 DDPM/DDIM 목표와 일치하여 조건부 복원에 대해 무조건 확산 모델의 재사용이 가능하다.
• DDRMs은 서로 다른 데이터셋 및 열화 모델에서 성능을 유지하며, 태스크별 재훈련 없이도 유연성을 보여준다.