[논문 리뷰] Real-World Denoising via Diffusion Model

Cheng Yang, Lijing Liang외 1명|arXiv (Cornell University)|2023. 05. 08.

Image and Signal Denoising Methods인용 수 6

한 줄 요약

이 논문은 실세계 이미지 디노이징을 위한 일반적인 확산 모델을 제안하며, 청소화된 이미지와 노이즈가 있는 이미지 사이의 선형 보간을 사용하여 확산 과정 중 노이즈 수준을 제어한다. 단순한 U-Net과 두 가지 샘플링 전략인 Origin Sampling 및 Improve Sampling을 활용함으로써, 노이즈 보간을 통한 데이터 증강을 통해 강력한 내성성을 유지하면서도 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Real-world image denoising is an extremely important image processing problem, which aims to recover clean images from noisy images captured in natural environments. In recent years, diffusion models have achieved very promising results in the field of image generation, outperforming previous generation models. However, it has not been widely used in the field of image denoising because it is difficult to control the appropriate position of the added noise. Inspired by diffusion models, this paper proposes a novel general denoising diffusion model that can be used for real-world image denoising. We introduce a diffusion process with linear interpolation, and the intermediate noisy image is interpolated from the original clean image and the corresponding real-world noisy image, so that this diffusion model can handle the level of added noise. In particular, we also introduce two sampling algorithms for this diffusion model. The first one is a simple sampling procedure defined according to the diffusion process, and the second one targets the problem of the first one and makes a number of improvements. Our experimental results show that our proposed method with a simple CNNs Unet achieves comparable results compared to the Transformer architecture. Both quantitative and qualitative evaluations on real-world denoising benchmarks show that the proposed general diffusion model performs almost as well as against the state-of-the-art methods.

연구 동기 및 목표

• 노이즈 수준이 비균일하고 복잡한 실세계 이미지 디노이징에 확산 모델을 적용하는 데 도전하는 것.
• 노이즈 분포에 대한 사전 지식 없이도 자연 이미지의 변동하는 노이즈 수준을 처리할 수 있는 일반화 가능한 확산 프레임워크를 개발하는 것.
• 통제된 노이즈 보간을 통해 확산 과정을 데이터 증강 수단으로 활용하여 디노이징 모델의 내성성을 향상시키는 것.
• Origin Sampling 및 Improve Sampling이라는 두 가지 샘플링 알고리즘의 실세계 디노이징 성능에 대한 상대적 성능을 평가하는 것.
• 확산 기반 학습을 사용하는 단순한 U-Net 아키텍처가 실세계 디노이징에서 더 복잡한 트랜스포머 기반 모델에 비해 경쟁력 있는 성능을 달성하거나 초월할 수 있는지 보여주는 것.

제안 방법

• 전방 확산 과정은 청소화된 이미지와 그에 해당하는 실세계 노이즈 이미지 사이의 선형 보간을 사용하여 다양한 노이즈 수준에서 중간 노이즈 이미지를 생성한다.
• 역방향 과정은 U-Net 아키텍처를 사용하여 각 단계에서 노이즈를 예측하고 제거하는 방식으로 점차적으로 이미지를 디노이징한다.
• 두 가지 샘플링 알고리즘이 제안된다: 기본적인 역방향 샘플링 절차인 Origin Sampling과 첫 번째 방법의 한계를 보완하기 위한 개선된 Improve Sampling.
• 모델는 각 시간 단계에서 예측된 노이즈와 실제 노이즈 간의 차이를 최소화하는 디노이징 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 확산 과정은 훈련 이미지의 다양한 노이즈 변형을 생성함으로써 데이터 증강 기법으로 작용하여 모델의 실세계 노이즈 변동에 대한 내성성을 높인다.
• 모델는 명시적인 노이즈 수준 맵이나 복잡한 노이즈 모델링을 요구하지 않으며, 대신 보간을 통해 노이즈 강도를 제어한다.

실험 결과

연구 질문

• RQ1 비정규 분포이자 공간적으로 변동하는 노이즈를 가진 실세계 이미지 디노이징에 대해 확산 모델을 효과적으로 적응시킬 수 있는가?
• RQ2 청소화된 이미지와 노이즈가 있는 이미지 사이의 선형 보간이 확산 과정에서 노이즈 수준을 더 잘 제어하는 데 어떻게 기여하는가?
• RQ3 실세계 디노이징 맥락에서 다양한 샘플링 전략(Origin Sampling 대비 Improve Sampling)의 상대적 성능은 어떠한가?
• RQ4 확산 과정이 어느 정도의 데이터 증강 수단으로 작용하여 모델의 일반화 능력을 향상시키는가?
• RQ5 단순한 U-Net 아키텍처가 실세계 디노이징에서 더 복잡한 트랜스포머 기반 모델에 비해 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 DND 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 70개의 확산 단계에서 최적의 성능을 보였다.
• Origin Sampling 방법이 Improve Sampling을 능가하여, 이 작업에 대해 더 단순한 샘플링 전략이 더 효과적임을 시사한다.
• 모델는 더 복잡한 트랜스포머 기반 모델에 비해 유사한 성능을 달성하였으며, 훨씬 단순한 U-Net 아키텍처를 사용하였다.
• 확산 과정은 효과적으로 데이터 증강 기법으로 작용하여, 보간된 노이즈 이미지를 통해 다양한 노이즈 수준에 대한 모델의 내성성을 향상시켰다.
• 정량적 결과는 DND 및 SIDD 벤치마크에서 높은 품질의 이미지 복원을 확인하는 강력한 PSNR 및 SSIM 점수를 보였다.
• 정성적 시각적 비교를 통해 미세한 질감과 구조적 세부 정보를 효과적으로 유지하는 데서 뚜렷한 향상이 있었음을 확인하였다.