[논문 리뷰] Image denoising using group sparsity residual and external nonlocal self-similarity prior

Zhiyuan Zha, Xinggan Zhang외 3명|arXiv (Cornell University)|2017. 01. 03.

Image and Signal Denoising Methods인용 수 7

한 줄 요약

이 논문은 가우시안 믹스처 모델(GMM)을 통해 학습된 외부 비국소적 자기유사성(NSS) 사전을 활용하여 군 집약 잔차를 최소화하는 새로운 이미지 노이즈 제거 방법을 제안한다. GMM 기반의 NSS 사전를 이용해 노이즈가 있는 입력에서 청소화 이미지의 군 집약 계수를 추정함으로써, 높은 세부 구조 유지와 리버버브 아티팩트 감소를 달성하여 PSNR 및 시각적 품질 측면에서 BM3D, EPLL 및 기타 최첨단 방법들을 능가하는 최상의 성능을 달성한다.

ABSTRACT

Nonlocal image representation has been successfully used in many image-related inverse problems including denoising, deblurring and deblocking. However, a majority of reconstruction methods only exploit the nonlocal self-similarity (NSS) prior of the degraded observation image, it is very challenging to reconstruct the latent clean image. In this paper we propose a novel model for image denoising via group sparsity residual and external NSS prior. To boost the performance of image denoising, the concept of group sparsity residual is proposed, and thus the problem of image denoising is transformed into one that reduces the group sparsity residual. Due to the fact that the groups contain a large amount of NSS information of natural images, we obtain a good estimation of the group sparse coefficients of the original image by the external NSS prior based on Gaussian Mixture model (GMM) learning and the group sparse coefficients of noisy image is used to approximate the estimation. Experimental results have demonstrated that the proposed method not only outperforms many state-of-the-art methods, but also delivers the best qualitative denoising results with finer details and less ringing artifacts.

연구 동기 및 목표

• 오직 노이즈가 있는 이미지의 NSS 사전만을 사용할 때 청소화 이미지를 재구성하는 데 도전하는 문제를 해결하기 위해.
• 최적화 목표로 군 집약 잔차 개념을 도입하여 노이즈 제거 성능을 향상시키기 위해.
• 자연 이미지에서 학습된 GMM를 통해 얻은 외부 NSS 사전을 활용하여 원래 청소화 이미지의 군 집약 계수를 보다 정확히 추정하기 위해.
• 기존 군 집약 기반 방법보다 리버버브 아티팩트를 더 효과적으로 줄이고 미세한 이미지 구조를 더 잘 유지하기 위해.

제안 방법

• 이 방법은 노이즈가 있는 이미지와 그 추정된 청소화 버전 사이의 군 집약 잔차를 최소화하는 방식으로 이미지 노이즈 제거 문제를 설정한다.
• 청소화 이미지 패치에 기반해 훈련된 가우시안 믹스처 모델(GMM)을 사용하여 자연 이미지의 외부 NSS 사전을 학습한다.
• 노이즈가 있는 이미지의 군 집약 계수를 사용하여 청소화 이미지의 바람직한 군 집약 계수를 추정하며, 이 과정에서 외부 GMM 기반 NSS 사전가 지도를 받는다.
• γ- 및 ρ-정규화를 적용한 교차 최소화 방식을 사용하여 군 집약 코드와 이미지 추정치를 반복적으로 업데이트한다.
• 유사한 패치는 W×W 검색 창을 사용하여 그룹화되며, 각 그룹당 m개의 가장 가까운 이웃을 선택하여 m차원 그룹을 형성한다.
• 모든 업데이트된 그룹 추정치를 집계하여 최종 노이즈 제거 이미지를 재구성한다.

Fig. 1 : The distribution of R , fitting Gaussian, Laplacian and hyper-Laplacian distribution for image Monarch with $\sigma=30$ in (a) and foreman with $\sigma=100$ in (b).

실험 결과

연구 질문

• RQ1 기존의 희박 코딩 또는 정규화 방법보다 군 집약 잔차 최소화가 더 나은 이미지 노이즈 제거 성능을 이끌 수 있는가?
• RQ2 청소화 이미지 패치에서 GMM를 통해 학습된 외부 NSS 사전는 노이즈가 있는 입력에서 청소화 이미지의 군 집약 계수 추정에 얼마나 효과적으로 기여하는가?
• RQ3 외부 GMM 학습을 통해 자연 이미지의 NSS 구조를 활용하면, 오직 노이즈가 있는 이미지의 NSS만을 활용하는 방법보다 리버버브 아티팩트를 더 효과적으로 줄이고 미세한 이미지 세부 구조를 더 잘 유지할 수 있는가?
• RQ4 제안된 방법은 PSNR와 시각적 품질 측면에서 최첨단 노이즈 제거 기법들을 얼마나 뛰어나게 능가하는가?

주요 결과

• 노이즈 수준 σ = 50일 때, 제안된 방법은 BM3D보다 평균 0.24 dB, EPLL보다 0.59 dB, GID보다 1.30 dB 향상된 PSNR를 달성한다.
• σ = 100일 때, 방법은 23.19 dB의 PSNR를 기록하여 aGMM(22.62 dB), PGPD(23.03 dB), BM3D(22.89 dB)를 모두 능가한다.
• 시각적 결과에서는 BM3D, EPLL, NCSR, GID, LINE, PGPD, aGMM보다 더 뛰어난 세부 구조 유지와 리버버브 아티팩트 억제 성능을 보였다.
• 모든 테스트된 노이즈 수준에서 최고의 PSNR를 기록하였으며, Kodak 데이터셋의 14개 이미지 전반에 걸쳐 일관된 향상이 관찰되었다.
• GMM 학습을 통한 외부 NSS 사전의 활용은 군 집약 계수 추정 정확도를 크게 향상시켜 뛰어난 재구성 품질을 이끌어냈다.
• 다양한 노이즈 수준에 걸쳐 뛰어난 강건성을 보였으며, 노이즈 수준에 맞게 매개변수 설정을 조정함으로써 최적의 성능 유지를 달성했다.

Fig. 2 : All test images.