[논문 리뷰] Multi-channel Weighted Nuclear Norm Minimization for Real Color Image Denoising

Jun Xu, Lei Zhang외 2명|arXiv (Cornell University)|2017. 05. 28.

Image and Signal Denoising Methods참고 문헌 28인용 수 39

한 줄 요약

이 논문은 다중채널 가중 핵노름 최소화(MC-WNNM)를 제안하며, R, G, B 채널의 서로 다른 노이즈 수준에 적응하면서도 채널 간 부재성을 동시에 활용하는 실시간 컬러 이미지 노이즈 제거를 위한 새로운 프레임워크이다. 이 방법은 ADMM를 통해 닫힌 형태의 업데이트를 갖는 선형 등식 제약 최적화 문제로 공식화되며, 합성 및 실제 노이즈가 있는 데이터셋에서 최신 기술 수준의 PSNR 성능을 달성한다. 기존 WNNM 방법들보다 평균 1.94 dB 향상된 성능을 기록한다.

ABSTRACT

Most of the existing denoising algorithms are developed for grayscale images, while it is not a trivial work to extend them for color image denoising because the noise statistics in R, G, B channels can be very different for real noisy images. In this paper, we propose a multi-channel (MC) optimization model for real color image denoising under the weighted nuclear norm minimization (WNNM) framework. We concatenate the RGB patches to make use of the channel redundancy, and introduce a weight matrix to balance the data fidelity of the three channels in consideration of their different noise statistics. The proposed MC-WNNM model does not have an analytical solution. We reformulate it into a linear equality-constrained problem and solve it with the alternating direction method of multipliers. Each alternative updating step has closed-form solution and the convergence can be guaranteed. Extensive experiments on both synthetic and real noisy image datasets demonstrate the superiority of the proposed MC-WNNM over state-of-the-art denoising methods.

연구 동기 및 목표

• 카메라 센서 및 파ip라인 특성으로 인해 R, G, B 채널의 노이즈 분산이 다를 수 있는 실재 컬러 이미지 노이즈 제거 문제를 해결한다.
• 모든 컬러 채널을 동일하게 취급하는 기존 방법의 한계를 극복하여 색상 오염 또는 최적화되지 않은 노이즈 제거를 방지한다.
• 공동 저질서 모델링 프레임워크를 통해 RGB 패치 간의 채널 간 부재성을 활용하면서도 채널별 노이즈 통계를 유지한다.
• 닫힌 형태의 해가 없는 비트리비얼한 다중채널 노이즈 제거 모델에 대해 확장 가능하고 수렴 보장되는 최적화 전략을 개발한다.

제안 방법

• 공간적 및 스펙트럼적 부재성을 채널 간에 활용하기 위해 RGB 패치를 하나의 행렬로 연결한다.
• 각 채널의 개별 노이즈 분산에 기반해 기여도를 조정하기 위해 데이터 적합성 항에 대각 행렬을 도입한다.
• ADMM 기반 해법을 가능하게 하며 수렴 보장을 받는 선형 등식 제약 최적화 문제로 MC-WNNM 모델을 공식화한다.
• 변수별로 닫힌 형태의 해를 갖는 부분문제로 분해하기 위해 분할된 다중승수 방법(ADMM)을 적용한다.
• 가중 핵노름을 통한 일반화된 소프트 임계처리를 통해 연결된 RGB 패치 행렬의 저질서 특성을 강화한다.
• 채널별 노이즈 수준 추정치를 가중 행렬에 통합하여 각 채널에 맞는 정규화 강도를 적응적으로 제어한다.

실험 결과

연구 질문

• RQ1 R, G, B 채널 간 다른 노이즈 통계를 고려하면서도 RGB 이미지의 채널 간 부재성을 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 단일채널 WNNM에 비해 다중채널 컬러 이미지에 대해 가중 핵노름 최소화 프레임워크를 확장할 수 있는가? 성능 향상이 이루어지는가?
• RQ3 비볼록적이며 해석적으로 해가 없는 MC-WNNM 모델의 효율적이고 수렴 보장되는 해법을 위한 최적화 전략은 무엇인가?
• RQ4 실제 노이즈가 있는 이미지에서 제안된 MC-WNNM 방법이 최신 기술 수준의 회색조 및 컬러 노이즈 제거 알고리즘보다 뛰어난 성능을 보이는가?
• RQ5 모든 채널을 동일하게 취급하거나 고정된 색상 변환을 사용하는 방법과 비교할 때, 제안된 방법은 시각적 품질과 PSNR 측면에서 어떻게 다른가?

주요 결과

• 실제 노이즈가 있는 이미지 데이터셋 [19]에서 MC-WNNM은 평균 PSNR 37.71 dB를 기록했으며, 다음으로 좋은 성능을 낸 방법(WNNM-2, 36.88 dB)보다 0.83 dB 높게 기록했다.
• 15장의 실제 노이즈가 있는 이미지 평균적으로 MC-WNNM은 WNNM-2보다 1.94 dB, WNNM-3보다 0.44 dB, WNNM-1보다 0.59 dB 향상된 PSNR를 달성했다.
• 실제 데이터셋의 15장 중 10장에서 MC-WNNM이 가장 높은 PSNR를 기록했으며, 다양한 카메라 및 ISO 조건에서도 일관된 슈퍼리어리티를 입증했다.
• 시각적 결과에서 MC-WNNM은 색상 왜곡이 최소화된 더 깔끔한 이미지를 생성한 반면, WNNM-2와 WNNM-3는 채널을 동일하게 취급함으로써 뚜렷한 색상 오염을 유발했다.
• Nikon D800 ISO=1600 이미지에서 MC-WNNM은 PSNR 41.43 dB를 기록했으며, TNRD(40.52 dB), WNNM-2(41.24 dB), WNNM-3(40.81 dB)를 모두 초월하여 도전적인 실세계 노이즈에서 뛰어난 성능을 보였다.
• 평균 실행 시간이 202.9초로 더 길지만, MC-WNNM은 최신 기술 수준의 결과를 제공하여 성능 향상의 이득이 속도의 손실을 상쇄함을 입증했다.