[논문 리뷰] CVF-SID: Cyclic multi-Variate Function for Self-Supervised Image Denoising by Disentangling Noise from Image

Reyhaneh Neshatavar, Mohsen Yavartanoo외 2명|arXiv (Cornell University)|2022. 03. 24.

Image and Signal Denoising Methods인용 수 9

한 줄 요약

CVF-SID는 쌍화된 노이즈-클린 데이터가 필요 없이 실제 sRGB 입력에서 청소년 이미지, 신호에 의존하는 노이즈, 신호에 독립적인 노이즈를 분리하기 위해 순환 다변수 함수(CVF)를 사용하는 자기지도 학습 이미지 정화 방법을 제안한다. 자기지도 손실과 데이터 증강을 활용하여 SIDD 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존의 자기지도 및 비지도 방법보다 뛰어나고 노이즈 분포에 대한 사전 가정 없이 실제 노이즈에 일반화 가능하다.

ABSTRACT

Recently, significant progress has been made on image denoising with strong supervision from large-scale datasets. However, obtaining well-aligned noisy-clean training image pairs for each specific scenario is complicated and costly in practice. Consequently, applying a conventional supervised denoising network on in-the-wild noisy inputs is not straightforward. Although several studies have challenged this problem without strong supervision, they rely on less practical assumptions and cannot be applied to practical situations directly. To address the aforementioned challenges, we propose a novel and powerful self-supervised denoising method called CVF-SID based on a Cyclic multi-Variate Function (CVF) module and a self-supervised image disentangling (SID) framework. The CVF module can output multiple decomposed variables of the input and take a combination of the outputs back as an input in a cyclic manner. Our CVF-SID can disentangle a clean image and noise maps from the input by leveraging various self-supervised loss terms. Unlike several methods that only consider the signal-independent noise models, we also deal with signal-dependent noise components for real-world applications. Furthermore, we do not rely on any prior assumptions about the underlying noise distribution, making CVF-SID more generalizable toward realistic noise. Extensive experiments on real-world datasets show that CVF-SID achieves state-of-the-art self-supervised image denoising performance and is comparable to other existing approaches. The code is publicly available from https://github.com/Reyhanehne/CVF-SID_PyTorch .

연구 동기 및 목표

• 쌍화된 노이즈-클린 훈련 데이터에 접근할 수 없는 실제 이미지 정화 문제를 해결한다.
• 기존 자기지도 방법이 노이즈 분포에 대해 제한적인 가정에 의존하거나 raw-RGB와 같은 특정 이미지 형식을 요구하는 등의 한계를 극복한다.
• 노이즈 특성에 대한 사전 지식 없이도 실제 sRGB 이미지를 정화하기 위한 일반화 가능한 프레임워크를 개발한다.
• 새로운 손실 함수와 데이터 증강을 도입하여 오직 노이즈 이미지만을 사용해 엔드 투 엔드 자기지도 학습을 가능하게 한다.
• 청결한 이미지와 다중 노이즈 성분을 반복적 정련을 통해 분리할 수 있도록 순환 다변수 함수(CVF)를 설계한다.

제안 방법

• 입력을 청결한 이미지, 신호에 의존하는 노이즈, 신호에 독립적인 노이즈로 분해하는 순환 다변수 함수(CVF)를 도입하고, 이를 재결합하여 네트워크로 다시 피드백함으로써 반복적 정련을 수행한다.
• 정합성, 항등성, 영활성, 정규화 손실을 활용해 지도 없는 레이블 없이도 학습 가능한 자기지도 이미지 분리(SID) 프레임워크(CVF-SID)를 설계한다.
• 이미지 특징을 조작하면서도 노이즈 구조를 유지하는 자기지도 데이터 증강 전략을 제안하여 다양한 훈련 샘플을 생성한다.
• 신호에 의존하는 노이즈를 모델링하기 위해 상관 계수 파라미터 γ를 사용하며, 아블레이션 결과에서 곱셈 노이즈의 경우 γ=1일 때 최적 성능을 보임을 확인하였다.
• 한 번의 순전파에서 생성된 출력을 다음 순전파의 입력으로 사용하는 순환 아키텍처를 통해 각 성분이 반복적 정련을 통해 정제되도록 훈련한다.
• 각 스트림이 청결한 이미지, 신호에 의존하는 노이즈, 신호에 독립적인 노이즈 중 하나의 성분을 예측하는 다중 스트림 네트워크 아키텍처를 적용한다.

(a)

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터가 전혀 없이도 자기지도 프레임워크가 실제 sRGB 이미지에서 청결한 이미지와 다중 노이즈 성분을 효과적으로 분리할 수 있는가?
• RQ2 제안된 순환 다변수 함수(CVF)는 표준 오토인코더나 피드포워드 아키텍처에 비해 분리 및 정화 성능을 어떻게 향상시키는가?
• RQ3 제안된 자기지도 데이터 증강 전략이 실제 데이터셋에서 모델의 일반화 능력과 성능을 얼마나 향상시키는가?
• RQ4 기본 노이즈 분포가 표준 가정(예: AWGN 또는 순수 곱셈 노이즈)에서 벗어나도 이 방법은 얼마나 강인한가?
• RQ5 표준 sRGB 이미지 형식에 적용 가능한 자기지도 이미지 정화에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CVF-SID는 SIDD 검증 데이터셋에서 PSNR 34.81과 SSIM 0.944를 기록하여 모든 다른 자기지도 및 비지도 방법보다 뛰어난 성능을 보였다.
• 항등성 손실(ℒid)이 성능 향상과 학습 안정화에 기여하여, 단지 정합성 손실만을 사용한 기준 모델 대비 1.14 dB 향상된 성능을 기록하였다.
• 제안된 데이터 증강 전략(set B)은 PSNR를 0.2 dB 향상시켜 훈련 다양성 증가의 효과를 입증하였다.
• 아블레이션 결과에서 상관 계수 파라미터 γ=1(순수 곱셈 노이즈)일 때 최고 성능를 기록하여, 모델이 이 현실적인 노이즈 가정 하에서 가장 효과적으로 작동함을 시사하였다.
• 시각적 결과에서는 CVF-SID가 노이즈 성분을 성공적으로 분리하며, 미세한 디테일을 유지하고 잡음 무늬를 최소화한 반면, R2R나 N2V와 같은 기존 방법들은 텍스처를 손실하거나 청결한 이미지를 복원하지 못하는 경향을 보였다.
• R2R와 달리 이 방법은 raw-RGB 입력과 사전 훈련된 노이즈 수준 함수가 필요 없어 sRGB 이미지에 직접 적용 가능하므로, 실제 환경에 더 실용적인 응용이 가능하다.

(b)