[논문 리뷰] C2N: Practical Generative Noise Modeling for Real-World Denoising

Geonwoon Jang, Wooseok Lee외 2명|arXiv (Cornell University)|2022. 02. 19.

Image and Signal Denoising Methods인용 수 7

한 줄 요약

C2N는 쌍이 맞는 클리어-노이즈 이미지가 없는 환경에서 신호에 독립적이고 신호에 의존적인 노이즈 성분을 명시적으로 모델링함으로써 복잡한 실제 이미지 노이즈를 시뮬레이션할 수 있는 새로운 생성적 노이즈 모델링 프레임워크를 제안한다. 쌍이 맞지 않는 데이터로 훈련된 C2N는 SIDD 및 DND 벤치마크에서 기존의 최신 비지도 학습 방법보다 크게 뛰어난 성능을 보이는 실제적인 노이즈 이미지를 생성한다.

ABSTRACT

Learning-based image denoising methods have been bounded to situations where well-aligned noisy and clean images are given, or samples are synthesized from predetermined noise models, e.g., Gaussian. While recent generative noise modeling methods aim to simulate the unknown distribution of real-world noise, several limitations still exist. In a practical scenario, a noise generator should learn to simulate the general and complex noise distribution without using paired noisy and clean images. However, since existing methods are constructed on the unrealistic assumption of real-world noise, they tend to generate implausible patterns and cannot express complicated noise maps. Therefore, we introduce a Clean-to-Noisy image generation framework, namely C2N, to imitate complex real-world noise without using any paired examples. We construct the noise generator in C2N accordingly with each component of real-world noise characteristics to express a wide range of noise accurately. Combined with our C2N, conventional denoising CNNs can be trained to outperform existing unsupervised methods on challenging real-world benchmarks by a large margin.

연구 동기 및 목표

• 클리어-노이즈 쌍 데이터가 부족하거나 이용 불가능한 실생활 이미지 정화 문제를 해결한다.
• 현실적으로 부적절한 가정에 의존하거나 복잡한 노이즈 분포를 포착하지 못하는 기존의 생성적 노이즈 모델링 방법의 한계를 극복한다.
• 정확한 지도 노이즈 지도가 필요 없이 신호에 의존하는 노이즈와 공간적으로 상관관계가 있는 노이즈 특성을 모델링하는 노이즈 생성기를 개발한다.
• 오직 쌍이 맞지 않는 클리어 이미지와 생성된 노이즈 이미지만을 사용하여 효과적인 정화 네트워크를 훈련시킬 수 있도록 한다.
• 표준 CNN 기반 정화기와 C2N 노이즈 생성기를 조합하여 비지도 학습 기반 실생활 정화에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 신호에 독립적(G^I) 및 신호에 의존적(G^D) 노이즈 성분을 위한 명시적 모듈을 갖춘 노이즈 생성기를 설계한다.
• 노이즈 상관관계와 공간적 구조를 모델링하기 위해 1×1 및 3×3 컨볼루션 변환을 통합한다.
• 수동으로 설계된 노이즈 형식에 의존하지 않고 훈련을 안정화시키기 위해 안정화 손실(ℒ_stb)을 사용한다.
• 쌍이 맞지 않는 실제 노이즈 이미지와 클리어 이미지에서 자율학습 방식으로 노이즈 생성기를 훈련시킨다.
• 훈련된 C2N 생성기를 사용하여 임의의 클리어 이미지에서 합성 노이즈 이미지를 생성한다.
• SIDD에서 사전 훈련한 후 DND와 같은 타겟 데이터셋에서 C2N 생성기를 미세조정하여 도메인 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 쌍이 맞는 클리어-노이즈 데이터가 없는 환경에서 생성적 노이즈 모델이 복잡한 실생활 노이즈 분포를 시뮬레이션할 수 있는가?
• RQ2 신호에 독립적이고 신호에 의존적인 노이즈 성분을 명시적으로 모델링하는 것이 노이즈의 현실성 향상에 얼마나 효과적인가?
• RQ3 C2N 프레임워크는 실생활 벤치마크에서 기존 최신 기술 수준의 방법을 뛰어넘는 비지도 정화 모델을 얼마나 잘 지원하는가?
• RQ4 개별 구성 요소(예: 1×1 및 3×3 컨볼루션, 안정화 손실)가 고해상도 노이즈 지ap을 생성하는 데 어떤 역할을 하는가?
• RQ5 C2N 프레임워크는 재학습 없이도 다양한 실생활 노이즈 데이터셋 간에 일반화 가능한가?

주요 결과

• C2N는 실제 노이즈 분포와 매우 유사한 현실적인 노이즈 지도를 생성하여 비교된 방법들 중에서 가장 낮은 KL 발산을 달성한다.
• 절단 실험을 통해 C2N의 모든 구성 요소—G^I, G^D, 1×1 및 3×3 컨볼루션—이 복잡한 노이즈 패턴을 모델링하는 데 필수적임을 확인한다.
• SIDD 벤치마크에서 C2N로 훈련된 정화기는 UIDNet보다 훨씬 적은 훈련 패치를 사용함에도 불구하고 기존 비지도 학습 방법을 능가한다.
• C2N와 더 강력한 DIDN 정화기를 조합하면 지도 학습 모델 수준의 성능을 달성하여, 이 프레임워크가 고용량 네트워크와의 호환성을 보임을 입증한다.
• SIDD에서 사전 훈련한 후 DND에서 C2N 생성기를 미세조정하면 DND에서 직접 훈련하는 것보다 성능이 향상되며, 도메인 적응 능력을 보여준다.
• SIDD에서의 정성적 결과는 C2N가 생성한 노이즈가 비지도 기반 기준선보다 뛰어난 노이즈 제거 및 세부 사항 보존 성능을 보이며, 지도 학습 모델 수준의 시각적 품질에 근접함을 보여준다.