[논문 리뷰] Residual Learning for Effective joint Demosaicing-Denoising

Yu Guo, Qiyu Jin외 3명|arXiv (Cornell University)|2020. 09. 14.

Image and Signal Denoising Methods참고 문헌 42인용 수 10

한 줄 요약

이 논문은 기존 파이프라인을 뒤집어 기존의 디모사이킹 이후 노이즈 제거 방식에서 벗어나, 먼저 하이브리드 CNN-Inception 모델을 사용해 디모사이킹을 수행하고, 그 결과로 생기는 노이즈가 많은 이미지를 잔차 학습을 통해 노이즈 제거하는 새로운 통합 디모사이킹-노이즈 제거 프레임워크를 제안한다. 이 방법은 체스보드 효과를 효과적으로 제거하고 미세한 디테일을 유지하며, 특히 고노이즈 수준(20 이하 SNR)에서 정량적 지표와 시각적 품질 측면에서 최신 기술들을 능가한다.

ABSTRACT

Image demosaicking and denoising are the two key steps for color image production pipeline. The classical processing sequence consists of applying denoising first, and then demosaicking. However, this sequence leads to oversmoothing and unpleasant checkerboard effect. Moreover, it is very difficult to change this order, because once the image is demosaicked, the statistical properties of the noise will be changed dramatically. This is extremely challenging for traditional denoising models that strongly rely on statistical assumptions. In this paper, we attempt to tackle this prickly problem. Indeed, here we invert the traditional CFA processing pipeline by first demosaicking and then denoising. In the first stage, we design a demosaicking algorithm that combines traditional methods and a convolutional neural network (CNN) to reconstruct a full color image ignoring the noise. To improve the performance in image demosaicking, we modify an Inception architecture for fusing R, G and B three channels information. This stage retains all known information that is the key point to obtain pleasurable final results. After demosaicking, we get a noisy full-color image and use another CNN to learn the demosaicking residual noise (including artifacts) of it, that allows to obtain a restored full color image. Our proposed algorithm completely avoids the checkerboard effect and retains more image detail. Furthermore, it can process very high-level noise while the performances of other CNN based methods for noise higher than 20 are rather limited. Experimental results show clearly that our method outperforms state-of-the-art methods both quantitatively as well as in terms of visual quality.

연구 동기 및 목표

• 기존의 디모사이킹 이후 노이즈 제거 파이프라인의 한계를 해결하기 위해, 이는 과도한 부드러움과 체스보드 아티팩트를 유발한다.
• 디모사이킹 이후 노이즈 분포가 변화함에 따라 기존의 노이즈 제거 모델이 성능을 저하시키는 문제를 극복한다.
• 이미지 디테일을 유지하면서 효과적으로 노이즈를 제거할 수 있는 강력한 통합 처리 프레임워크를 개발한다.
• 기존의 CNN 기반 방법이 실패하는 고노이즈 영역(SNR > 20)에서도 효과적인 노이즈 제거를 가능하게 한다.
• 디모사이킹된 이미지의 잔차 노이즈를 학습하여 시각적 품질과 정량적 성능을 향상시킨다.

제안 방법

• 제1단계: 고전적 보간법과 수정된 Inception 아키텍처를 융합한 하이브리드 모델을 사용해 CFA 원본 이미지를 디모사이킹한다. 이는 R, G, B 채널 정보를 융합하기 위함이다.
• Inception 기반 네트워크는 다중 채널 특징 융합을 향상시켜 디모사이킹 정확도를 높이기 위해 특별히 조정되었다.
• 제2단계: 디모사이킹된 전체 색상 이미지에 존재하는 잔차 노이즈(아티팩트 포함)를 별도의 CNN을 통해 학습한다.
• 잔차 학습 접근법을 통해 네트워크는 깨끗한 이미지를 다시 구성하는 대신, 노이즈와 구조적 왜곡을 수정하는 데 집중할 수 있다.
• 표준 처리 순서인 디모사이킹 이후 노이즈 제거의 순서를 뒤집어, 노이즈의 통계적 정합성을 유지함으로써 효과적인 학습을 가능하게 한다.
• 노이즈 모델링 이전 단계에서 디모사이킹 단계를 거쳐 전체 이미지 정보를 유지함으로써 체스보드 효과를 방지한다.

실험 결과

연구 질문

• RQ1 기존의 디모사이킹-노이즈 제거 파이프라인을 뒤집는 것이 체스보드 효과와 같은 아티팩트를 줄이고 이미지 품질을 향상시키는 데 효과적인가?
• RQ2 디모사이킹 이후 노이즈 통계가 변화한 상황에서 잔차 학습이 디모사이킹된 이미지의 노이즈 제거에 얼마나 효과적인가?
• RQ3 제안된 하이브리드 CNN-Inception 아키텍처는 기존 표준 방법 대비 디모사이킹 성능을 향상시킬 수 있는가?
• RQ4 기존 방법이 성능 저하를 보이는 고노이즈 수준(SNR > 20)에서도 제안된 방법이 뛰어난 성능을 유지하는가?
• RQ5 순차적 처리 방식 대비 통합 접근 방식이 미세한 이미지 디테일을 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 기존 노이즈 제거 파이프라인에서 흔히 발생하는 체스보드 효과를 크게 감소시켰다.
• 특히 고주파 영역에서 최신 기술들보다 더 많은 이미지 디테일을 유지했다.
• 표준 지표(예: PSNR, SSIM)에서 기존의 CNN 기반 접근 방식을 능가하는 뛰어난 정량적 성능을 달성했다.
• 기존의 CNN 기반 방법들이 성능 저하를 보이는 고노이즈 수준(SNR > 20)에서도 효과적으로 대응했다.
• 시각적 품질이著격히 향상되어 아티팩트가 감소하고 더 자연스러운 색상 재현이 이루어졌다.
• 잔차 학습 단계는 복잡한 노이즈 패턴과 디모사이킹 아티팩트를 성공적으로 포착하고 제거했다.