[논문 리뷰] Toward Convolutional Blind Denoising of Real Photographs

Shi Guo, Zifei Yan외 3명|arXiv (Cornell University)|2018. 07. 12.

Image and Signal Denoising Methods참고 문헌 60인용 수 62

한 줄 요약

CBDNet은 현실적인 포아송-가우시안 노이즈 모델과 ISP를 사용하여 실사진에 대한 블라인드 디노이징을 학습하며, 합성 및 실제 노이즈 이미지로 학습하고, 비대칭 손실을 가진 노이즈 추정 서브네트를 내장해 인터랙티브 디노이징을 가능하게 한다.

ABSTRACT

While deep convolutional neural networks (CNNs) have achieved impressive success in image denoising with additive white Gaussian noise (AWGN), their performance remains limited on real-world noisy photographs. The main reason is that their learned models are easy to overfit on the simplified AWGN model which deviates severely from the complicated real-world noise model. In order to improve the generalization ability of deep CNN denoisers, we suggest training a convolutional blind denoising network (CBDNet) with more realistic noise model and real-world noisy-clean image pairs. On the one hand, both signal-dependent noise and in-camera signal processing pipeline is considered to synthesize realistic noisy images. On the other hand, real-world noisy photographs and their nearly noise-free counterparts are also included to train our CBDNet. To further provide an interactive strategy to rectify denoising result conveniently, a noise estimation subnetwork with asymmetric learning to suppress under-estimation of noise level is embedded into CBDNet. Extensive experimental results on three datasets of real-world noisy photographs clearly demonstrate the superior performance of CBDNet over state-of-the-arts in terms of quantitative metrics and visual quality. The code has been made available at https://github.com/GuoShi28/CBDNet.

연구 동기 및 목표

• 복잡한 실제 노이즈 및 ISP 효과로 인해 AWGN 중심 모델을 넘어서 실제 사진의 디노이징 동기를 제시합니다.
• 학습 데이터를 합성하기 위해 카메라 내 처리까지 포함하는 현실적인 포아송-가우시안 노이즈 모델을 제안합니다.
• CBDNet을 노이즈 추정 서브네트워크와 신호 의존 노이즈를 다루기 위한 비블라인드 디노이징 네트워크로 개발합니다.
• 일 asymmetric loss를 도입하여 실제 노이즈에 대한 일반화와 노이즈 레벨 조정을 통한 인터랙티브 디노이징을 가능하게 합니다.

제안 방법

• 실제 세계 노이즈를 신호 의존성 및 고정된 구성 요소를 가진 이질분산 가우시안으로 모델링하고 ISP 효과를 포함합니다.
• CBDNet은 두 개의 서브네트워크로 구성됩니다: 노이즈 레벨 추정을 위한 CNN_E와 이미지와 추정 노이즈 맵을 이용한 디노이징을 위한 U-Net 계열 CNN_D.
• 현실적인 노이즈 모델로 생성된 합성 노이즈 이미지와 실제 노이즈-클린 페어를 혼합하여 학습하고, 학습 중 배치를 교대합니다.
• 노이즈 추정에 비대칭 손실을 적용하여 노이즈를 과소추정하는 것을 더 강하게 벌하고, 추정 노이즈 맵의 스무딩을 위한 TV 손실을 추가합니다.
• 추정된 노이즈 맵을 디노이저에 전달하기 전에 스케일링하여 인터랙티브 디노이징을 가능하게 합니다.
• 정성적 결과 평가 시 시각적 품질 향상을 위한 인지 손실(perceptual loss)을 선택적으로 도입합니다.

실험 결과

연구 질문

• RQ1 실제 사진의 디노이징을 AWGN 기반 학습을 넘어 현실적인 노이즈 모델을 채택함으로써 어떻게 향상시킬 수 있는가?
• RQ2 학습 과정에서 합성 및 실제 노이즈 이미지를 모두 포함시키면 실제 세계 노이즈에 대한 일반화가 향상되는가?
• RQ3 비대칭 손실을 가진 전용 노이즈 추정 서브네트워크가 실제 노이즈 이미지에 대한 강건성과 인터랙티브 디노이징을 향상시킬 수 있는가?
• RQ4 ISP를 포함한 카메라 내 처리 단계의 도입이 실제 이미지의 디노이징 성능에 어떤 영향을 미치는가?

주요 결과

• CBDNet은 PSNR/SSIM 및 시각적 품질 측면에서 실제 세계의 노이즈 데이터셋에서 최첨단 방법들보다 우수한 성능을 달성합니다.
• 포아송-가우시안 노이즈 모델에 ISP를 포함시키는 것이 디노이징 이득을 실질적으로 향상시키며(특히 AWGN 기반 모델 대비).
• 학습 시 합성 및 실제 노이즈 이미지를 결합하면 실제 데이터에서 PSNR 이득(실험에서 DND 기준 0.3–0.5 dB)이 나타납니다.
• 노이즈 추정의 비대칭 손실은 미지의 실제 노이즈에 대한 일반화를 돕고 특히 과소추정 오류에 유리합니다.
• 추정 노이즈 맵의 스케일링을 통한 인터랙티브 디노이징 능력은 사용자가 텍스처와 디테일의 복원을 제어할 수 있게 합니다.