[논문 리뷰] When AWGN-based Denoiser Meets Real Noises

Yuqian Zhou, Jianbo Jiao외 5명|arXiv (Cornell University)|2019. 04. 06.

Image and Signal Denoising Methods참고 문헌 46인용 수 18

한 줄 요약

이 논문은 합성 노이즈로 훈련된 AWGN 기반 디노이저가 실제 세계의 공간적으로 상관관계가 있고 공간적으로 변화하는 이미지 노이즈로 일반화하는 데 효과적으로 작용할 수 있도록 하는 새로운 적응 전략인 픽셀 셔플 다운샘플링(PD)을 제안한다. 혼합된 AWGN와 랜덤 밸류 임펄스 노이즈(RVIN)로 딥 디노이저를 훈련하고, PD를 적용하여 공간적 상관관계를 해체함으로써, 유일하게 합성 데이터로 훈련된 모델 중 DND 벤치마크에서 최고 성능을 기록하며 PSNR 38.40과 SSIM 0.945를 달성한다.

ABSTRACT

Discriminative learning-based image denoisers have achieved promising performance on synthetic noises such as Additive White Gaussian Noise (AWGN). The synthetic noises adopted in most previous work are pixel-independent, but real noises are mostly spatially/channel-correlated and spatially/channel-variant. This domain gap yields unsatisfied performance on images with real noises if the model is only trained with AWGN. In this paper, we propose a novel approach to boost the performance of a real image denoiser which is trained only with synthetic pixel-independent noise data dominated by AWGN. First, we train a deep model that consists of a noise estimator and a denoiser with mixed AWGN and Random Value Impulse Noise (RVIN). We then investigate Pixel-shuffle Down-sampling (PD) strategy to adapt the trained model to real noises. Extensive experiments demonstrate the effectiveness and generalization of the proposed approach. Notably, our method achieves state-of-the-art performance on real sRGB images in the DND benchmark among models trained with synthetic noises. Codes are available at https://github.com/yzhouas/PD-Denoising-pytorch.

연구 동기 및 목표

• 공간적 및 채널 상관관계가 있고 변화하는 실제 세계의 이미지 노이즈와 합성 AWGN 사이의 도메인 갭을 해결한다.
• 훈련 중에 실제 노이즈 데이터를 사용하지 않고도 AWGN로 훈련된 디노이저가 실제 sRGB 이미지로의 일반화를 향상시킨다.
• 세부 정보를 유지하면서 복잡한 실제 노이즈 패턴을 효과적으로 제거할 수 있는 단순하면서도 효과적인 적응 메커니즘을 개발한다.
• 실제 노이즈 모델링 없이도 유일하게 합성 노이즈로 훈련된 모델을 사용해 실제 이미지의 블라인드 디노이징을 가능하게 한다.
• 학습 가능한 적응형 정밀 조정 전략을 통해 단일 모델이 다양한 실제 노이즈 특성을 효과적으로 처리할 수 있음을 입증한다.

제안 방법

• 합성 AWGN와 랜덤 밸류 임펄스 노이즈(RVIN)의 혼합 데이터에 대한 공동 손실을 사용해 딥이고 완전 컨볼루션 디노이징 네트워크를 훈련함으로써, 사라진 픽셀이나 과노출된 픽셀에 대한 강건성을 향상시킨다.
• 공간적 상관관계가 있는 노이즈를 공간적으로 변화하는, 픽셀 간에 독립적인 성분으로 분할하는 픽셀 셔플 다운샘플링(PD) 전략을 도입하여 실제 이미지의 노이즈 구조를 근사한다.
• 초기 디노이징 이후 정밀 조정 단계로 PD를 적용하며, 학습 가능한 스트라이드와 혼합 요소를 사용해 노이즈 제거 강도를 제어한다.
• 공간적으로 변화하는 노이즈 수준을 예측하는 노이즈 추정기 사용으로, 정확한 노이즈 지ap 없이도 적응형 디노이징을 가능하게 한다.
• 다단계 정밀 조정 파이프라인을 구현: 초기 디노이징, PD 기반 다운샘플링, 노이즈 인식 혼합을 통한 반복적 업샘플링.
• 사용자 제어가 가능한 노이즈 억제와 세부 정보 유지 간의 트레이드오프를 허용하는 혼합 요소 $k$를 도입하여, 시각적 품질과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 합성 AWGN와 RVIN 노이즈로만 훈련된 디노이저가 실제 세계의 공간적으로 상관관계가 있고 공간적으로 변화하는 이미지 노이즈로 효과적으로 일반화될 수 있는가?
• RQ2 실제 노이즈의 공간적 상관관계를 해체하는 데 있어 픽셀 셔플 다운샘플링(PD) 전략은 다른 적응 전략에 비해 어떻게 비교되는가?
• RQ3 실제 이미지 디노이징에서 노이즈 제거와 세부 정보 유지 간의 균형을 이루기 위한 최적의 스트라이드 및 혼합 요소 $k$ 설정은 무엇인가?
• RQ4 DND와 같은 실제 세계 벤치마크에서 테스트했을 때, 제안된 방법이 합성 데이터로만 훈련된 기존 모델을 초월하는가?
• RQ5 제안된 PD 전략은 합성 노이즈로 훈련된 다른 기존 디노이징 모델의 성능 향상에 적용될 수 있는가?

주요 결과

• 제안된 방법은 DND 벤치마크에서 PSNR 38.40과 SSIM 0.945를 기록하며, 유일하게 합성 데이터로 훈련된 모든 다른 모델보다 뛰어난 성능을 보였다.
• 혼합된 AWGN와 RVIN 노이즈로 훈련된 모델은 실제 노이즈가 있는 야간 사진에서 더 뛰어난 성능을 보이며, AWGN 전용 훈련에 비해 사라진 픽셀이나 과노출된 픽셀을 효과적으로 처리했다.
• PD 전략을 적용함으로써 기준 모델(32.60 → 38.40)에 비해 PSNR가 5.8 dB 이상 향상되어 강력한 도메인 적응 능력을 입증했다.
• 절단 분석 결과, 정밀 조정(디테일 인식 및 전체 단계)을 포함한 전체 파이프라인은 직접 업샘플링이나 단일 단계 정밀 조정보다 더 우수한 시각적 품질을 제공하며, 잡음의 잔여물도 줄였다.
• 혼합 요소 $k$는 노이즈 억제 강도를 민감하게 제어할 수 있다: 낮은 $k$ 값은 더 많은 세부 정보를 유지하지만, 높은 $k$ 값은 무늬가 있는 영역에서의 과도한 부드러움을 줄인다.
• 훈련 중에 실제 노이즈 데이터나 명시적 노이즈 모델링 없이도, 다양한 실제 노이즈 패턴으로 잘 일반화됨을 입증했다.