[논문 리뷰] Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

Yinhuai Wang, Jiwen Yu외 1명|arXiv (Cornell University)|2022. 12. 01.

Photoacoustic and Ultrasonic Imaging인용 수 94

한 줄 요약

이 논문은 데이터 일관성과 현실감을 보장하기 위해 널 공간 콘텐츠만 정제하여 임의의 선형 이미지 복원 작업을 해결하는 사전 학습된 확산 모델을 사용하는 제로샷 프레임워크 DDNM을 소개한다; 향상된 버전 DDNM+은 노이즈가 있는 케이스를 처리하고 복원 품질을 향상시킨다.

ABSTRACT

Most existing Image Restoration (IR) models are task-specific, which can not be generalized to different degradation operators. In this work, we propose the Denoising Diffusion Null-Space Model (DDNM), a novel zero-shot framework for arbitrary linear IR problems, including but not limited to image super-resolution, colorization, inpainting, compressed sensing, and deblurring. DDNM only needs a pre-trained off-the-shelf diffusion model as the generative prior, without any extra training or network modifications. By refining only the null-space contents during the reverse diffusion process, we can yield diverse results satisfying both data consistency and realness. We further propose an enhanced and robust version, dubbed DDNM+, to support noisy restoration and improve restoration quality for hard tasks. Our experiments on several IR tasks reveal that DDNM outperforms other state-of-the-art zero-shot IR methods. We also demonstrate that DDNM+ can solve complex real-world applications, e.g., old photo restoration.

연구 동기 및 목표

• 다양한 열화 연산자에 걸친 특정 IR 방법의 일반화 부족을 동기부여하고 해결.
• IR을 범위-널 공간 문제로 다루고 확산 모델을 활용하여 현실감을 위한 널-공간을 채우는 보편적인 제로샷 프레임워크(DDNM)를 제안.
• 임의의 선형 열화에서도 데이터 일관성을 가능하게 하면서도 특정 작업에 대한 학습이나 네트워크 수정 없이 접근.
• 노이즈가 있는 복원 상황을 처리하고 실세계 시나리오(오래된 사진 복원 등)를 포함하여 복원 품질을 향상시키는 DDNM+로 확장.

제안 방법

• IR을 A x = y의 범위-널 공간 분해로 프레이밍하고 x = A†y + (I - A†A) x를 이용.
• 사전 학습된 확산 모델을 사용하여 데이터 일관성을 보장하기 위해 범위 공간 부분 A†y를 고정한 채 널 공간 구성요소 (I - A†A) x 만 생성.
• 역 확산을 재매개변수화하여 xt에서 x0를 추정: x0|t = (1/√ᾱt)(xt − Zθ(xt, t)√(1 − ᾱt)).
• x̂0|t를 고정된 범위-공간 A†y와 학습된 널-공간 콘텐츠를 결합하여 보정: x̂0|t = A†y + (I − A†A) x0|t, 그리고 p(xt−1|xt, x̂0|t)에서 xt−1을 샘플링.
• 노이즈에 대한 강건성을 향상시키기 위해 DDNM+에 확장: 범위-공간 보정과 확산 노이즈를 조정하는 스케일링 행렬 Σt와 Φt 도입; 전역 조화 및 복원 품질을 개선하기 위한 타임 트래블 트릭 포함.

실험 결과

연구 질문

• RQ1 사전 학습된 확산 모델이 임의의 선형 IR 문제를 작업별 학습 없이 제로샷 priors로 해결할 수 있는가?
• RQ2 범위-널 공간 분해를 통해 다양한 열화(A와 y)에서 현실적인 복원을 달성하면서 데이터 일관성을 어떻게 보장할 수 있는가?
• RQ3 제안된 타임 트래블 메커니즘과 노이즈 인식 확장(DDNM+)이 노이즈가 있거나 도전적인 작업에서 복원 품질과 강건성을 향상시키는가?
• RQ4 DDNM/DDNM+의 실제 적용 가능성은 오래된 사진 복원 및 실제 노이즈 시나리오와 같은 현실 열화에 얼마나 적용될 수 있는가?

주요 결과

• DDNM은 특정 작업 학습 없이 SR, 색상화, CS, 인페인팅, 디블링 등 여러 작업에서 제로샷 IR 방법들 가운데 최첨단 성능을 달성한다.
• DDNM+는 디노이징 및 복원 품질을 상당히 개선하고 타임 트래블 트릭은 Realness(FID 감소)와 일관성에서 주목할 만한 이점을 제공한다.
• 이 방법은 범위-공간 구성요소 A†y를 통한 엄격한 데이터 일관성을 제공하면서 현실감을 위한 확산 기반 널-공간 정제를 활용한다.
• DDNM/DDNM+는 다양한 열화 유형과 실제 열화에 대해 강건성을 보이며 오래된 사진 복원과 같은 실세계 응용에 기여한다.