[논문 리뷰] Real-world Noisy Image Denoising: A New Benchmark

Jun Xu, Hui Li외 3명|arXiv (Cornell University)|2018. 04. 07.

Image and Signal Denoising Methods참고 문헌 24인용 수 174

한 줄 요약

이 논문은 여러 카메라와 설정에서 촬영된 실제 노이즈 이미지 대규모 벤치마크를 도입하고, 기존 방법을 평가하며, 실제 노이즈가 AWGN과 다르고 새로운 방법이 강건성을 제공함을 보여준다.

ABSTRACT

Most of previous image denoising methods focus on additive white Gaussian noise (AWGN). However,the real-world noisy image denoising problem with the advancing of the computer vision techiniques. In order to promote the study on this problem while implementing the concurrent real-world image denoising datasets, we construct a new benchmark dataset which contains comprehensive real-world noisy images of different natural scenes. These images are captured by different cameras under different camera settings. We evaluate the different denoising methods on our new dataset as well as previous datasets. Extensive experimental results demonstrate that the recently proposed methods designed specifically for realistic noise removal based on sparse or low rank theories achieve better denoising performance and are more robust than other competing methods, and the newly proposed dataset is more challenging. The constructed dataset of real photographs is publicly available at \url{https://github.com/csjunxu/PolyUDataset} for researchers to investigate new real-world image denoising methods. We will add more analysis on the noise statistics in the real photographs of our new dataset in the next version of this article.

연구 동기 및 목표

• 합성 AWGN denoising 벤치마크를 넘어서는 실제 세계 노이즈 제거의 동기를 제시한다.
• 상당히 다양한 실제 세계 노이즈 이미지 데이터셋을 구축하고 대응하는 ground-truth 이미지를 제공한다.
• 실제 세계 데이터에서 기존 디노이징 방법을 평가하고 카메라 및 ISO 설정에 따른 강건성을 분석한다.

제안 방법

• 실제 세계 노이즈를 모델링하기 위해 여러 카메라와 설정에서 장면당 500장의 이미지를 촬영한다.
• 같은 프레임 간 비정렬이 아니고 휘도 일관성을 가진 프레임들을 평균화하여 ground-truth를 생성한다.
• 실용적 디노이징 평가를 위해 대형 이미지에서 512x512 패치를 잘라낸다.
• AWGN 중심, 회색 채널, 판별 학습, 실제 세계에 최적화된 방법 등 폭넓은 디노이징 방법을 평가한다.
• 데이터셋 간 PSNR과 SSIM으로 성능을 비교하고 ISO 및 색채 채널별 노이즈 통계를 분석한다.

실험 결과

연구 질문

• RQ1 또한 다양한 카메라와 설정에서 실제 세계의 노이즈 이미지에 대해 기존의 AWGN용으로 설계된 디노이징 방법들이 얼마나 잘 작동하는가?
• RQ2 Guided, MCWNNM, TWSC 등 실제 세계 노이즈에 특화된 방법이 이 벤치마크에서 전통적인 AWGN 디노이징 방법보다 더 나은가?
• RQ3 실제 세계 데이터에서 ISO, 카메라 브랜드, 장면 콘텐츠에 따라 디노이징 성능은 어떻게 달라지는가?
• RQ4 ISO가 바뀔 때 RGB 채널 전반의 실제 노이즈 통계는 어떤가?

주요 결과

• 실제 세계 노이즈는 AWGN으로 잘 모델되지 않으며, 실제 세계 노이즈에 맞춰 설계된 방법이 AWGN 중심의 기준선보다 우수하다.
• 채널 간 처리(RGB 채널을 함께 처리하는 방법)가 일반적으로 채널별 그레이스케일 접근보다 더 좋은 성능을 보인다.
• 쌍으로 정렬된 데이터로 학습된 판별 학습 방법은 학습 데이터의 노이즈 통계와 다를 때 일반화에 한계가 있다.
• Guided, MCWNNM, TWSC 등 최근 실제 세계에 특화된 방법은 일부 데이터세트에서 강력한 성능을 보이나 새로 제안된 벤치마크에서 더 작은 이득을 보이며 데이터세트의 난이도가 더 높은 것을 시사한다.
• 제안된 데이터셋은 더 포괄적이고 도전적이며 현실 세계 디노이징 접근법의 필요성을 강조한다.