[논문 리뷰] Diffusion Model for Generative Image Denoising

Yutong Xie, Minne Yuan외 2명|arXiv (Cornell University)|2023. 02. 05.

Image and Signal Denoising Methods인용 수 12

한 줄 요약

이 논문은 이미지를 노이즈가 있는 상태에서의 후방 분포 x|y 샘플링으로 해석하고, 작업 특화 확산 과정을 통해 가우시안, 감마, 포아송 노이즈에 대한 생성적 디노이징 모델을 학습합니다. 질적 결과가 경쟁적임을 보이고, 각 노이즈 유형에 대한 학습/샘플링 알고리즘을 제공합니다.

ABSTRACT

In supervised learning for image denoising, usually the paired clean images and noisy images are collected or synthesised to train a denoising model. L2 norm loss or other distance functions are used as the objective function for training. It often leads to an over-smooth result with less image details. In this paper, we regard the denoising task as a problem of estimating the posterior distribution of clean images conditioned on noisy images. We apply the idea of diffusion model to realize generative image denoising. According to the noise model in denoising tasks, we redefine the diffusion process such that it is different from the original one. Hence, the sampling of the posterior distribution is a reverse process of dozens of steps from the noisy image. We consider three types of noise model, Gaussian, Gamma and Poisson noise. With the guarantee of theory, we derive a unified strategy for model training. Our method is verified through experiments on three types of noise models and achieves excellent performance.

연구 동기 및 목표

• 표준 감독 학습으로 인한 과도한 평활화를 피하기 위해 후방 분포 추정으로 디노이징을 동기화한다.
• 주어진 노이즈 모델에 맞춘 순방향 프로세스를 가지는 확산 모델 프레임워크를 도입한다.
• 디노이징 작업에서 가우시안, 감마, 포아송 노이즈에 대한 학습 및 샘플링 알고리즘을 개발한다.
• 다양한 노이즈 유형 하에서 그레이스케일 이미지 데이터셋에 대해 가능성과 정성적/정량적 이점을 시연한다.

제안 방법

• 알려진 노이즈 모델(가우시안, 감마, 포아송) 하에서 clean x0를 noisy xN으로 매핑하는 노이즈 일관 확산 프로세스를 정의한다.
• 역 Markov 체인 p_theta(x_t|x_{t+1},x_N)을 형성하여 알고리즘 1–7를 통해 q(x0|xN)를 샘플링한다.
• ELBO 기반 학습 목표를 도출하고 각 노이즈 유형에 대해 후방 평균에 대한 간단한 L2 손실로 축소됨을 보인다.
• 후방 평균을 근사하고 샘플링을 안내하기 위해 신경망 f(x_{t+1}, t+1; theta)을 사용한다.
• 가우시안, 감마, 포아송 노이즈에 대한 명시적 학습 및 샘플링 절차를 제공한다(알고리즘 2–7).
• KL 발산 최소화가 x0를 타깃으로 하는 L2 손실 최소화와 동등하다는 것을 보인다.

실험 결과

연구 질문

• RQ1 확산 기반 프레임워크가 관측된 노이즈 이미지에서 시작하여 이미지의 후방 x|y를 샘플링함으로써 디노이징할 수 있는가?
• RQ2 효율적인 디노이징을 가능하게 하기 위해 확산 프로세스를 가우시안, 감마, 포아송 노이즈 모델에 맞게 어떻게 조정할 수 있는가?
• RQ3 확산 프로세스를 근간의 노이즈 모델과 정렬하는 것이 표준 감독 방법에 비해 디노이징 성능을 개선하고 디테일을 보존하는가?
• RQ4 이 확산-디노이징 패러다임에서 각 노이즈 모델에 대한 학습 목표와 샘플링 알고리즘은 무엇인가?

주요 결과

• 제안된 확산-디노이징 프레임워크는 가우시안, 감마, 포아송 노이즈에 대해 노이즈 입력에 조건화된 깨끗한 이미지의 후방 분포에서 샘플링할 수 있다.
• 학습은 후방 평균에 대한 L2 손실로 축소되며, 노이즈 모델 간에 일관된 목표를 제공한다.
• 질적 결과는 Kodak 및 CSet9 그레이스케일 데이터셋에서 표준 감독 대비 명확한 디테일의 합성 샘플을 보인다.
• 정량적 결과(PSNR/SSIM)는 표 1에 보고되며, 감독 학습과 생성 샘플 간의 차이를 보여주고, 후자의 시각적으로 더 매력적인 결과를 제공한다.
• 다양한 노이즈 모델에 대해 확산 기반 생성 디노이징의 가능성을 실험으로 검증한다.