[논문 리뷰] Group Sparsity Residual Constraint for Image Denoising

Zhiyuan Zha, Xinggan Zhang외 3명|arXiv (Cornell University)|2017. 03. 01.

Image and Signal Denoising Methods참고 문헌 48인용 수 9

한 줄 요약

이 논문은 잡음이 있는 이미지와 사전 필터링된 이미지에서 유도된 국소적 자가유사성(NSS) 사전 지식을 활용하여 그룹 스parseresidual을 최소화하는 새로운 이미지 복원 방법인 그룹 스parse 잔차 제약(GSRC)을 제안한다. 사전 필터링을 통해 청소화된 이미지의 희소 계수를 추정하고, 반복적 수축 알고리즘을 사용하여 잡음이 있는 이미지와 추정된 계수 간 잔차를 최소화함으로써 GSRC는 빠른 속도를 유지하면서도 최신 기술 수준의 PSNR 및 SSIM 성능을 달성한다.

ABSTRACT

Group-based sparse representation has shown great potential in image denoising. However, most existing methods only consider the nonlocal self-similarity (NSS) prior of noisy input image. That is, the similar patches are collected only from degraded input, which makes the quality of image denoising largely depend on the input itself. However, such methods often suffer from a common drawback that the denoising performance may degrade quickly with increasing noise levels. In this paper we propose a new prior model, called group sparsity residual constraint (GSRC). Unlike the conventional group-based sparse representation denoising methods, two kinds of prior, namely, the NSS priors of noisy and pre-filtered images, are used in GSRC. In particular, we integrate these two NSS priors through the mechanism of sparsity residual, and thus, the task of image denoising is converted to the problem of reducing the group sparsity residual. To this end, we first obtain a good estimation of the group sparse coefficients of the original image by pre-filtering, and then the group sparse coefficients of the noisy image are used to approximate this estimation. To improve the accuracy of the nonlocal similar patch selection, an adaptive patch search scheme is designed. Furthermore, to fuse these two NSS prior better, an effective iterative shrinkage algorithm is developed to solve the proposed GSRC model. Experimental results demonstrate that the proposed GSRC modeling outperforms many state-of-the-art denoising methods in terms of the objective and the perceptual metrics.

연구 동기 및 목표

• 기존의 그룹 기반 희소 표현 방법이 단지 잡음이 있는 이미지의 NSS 사전 지식에 의존하여 고잡음 수준에서 성능이 저하되는 점을 해결하기 위해.
• 사전 필터링된 이미지에서의 사전 지식을 통합함으로써 청소화된 이미지의 그룹 희소 구조를 더 정확하게 추정함으로써 복원 성능을 향상시키기 위해.
• 잡음이 있는 입력 품질에 대한 의존도를 줄이기 위해, 잡음이 있는 이미지와 청소화된 이미지의 희소 계수 간 차이를 측정하는 그룹 스parse 잔차 항을 도입하기 위해.
• 지역적 이미지 콘텐츠에 기반해 검색 창을 동적으로 조정함으로써 비국소 유사 패치 선택 정확도를 향상시키기 위한 적응형 패치 검색 기법을 설계하기 위해.
• 효율적이고 안정적인 수렴을 보장하는 반복적 수축 알고리즘을 개발하여 이중 NSS 사전 지식을 효과적으로 융합함으로써 강력한 복원 성능을 달성하기 위해.

제안 방법

• 잡음이 있는 이미지의 그룹 희소 계수와 추정된 청소화된 이미지의 그룹 희소 계수 간 차이로 구성되는 그룹 스parse 잔차(GSR)를 제안하고, 복원 문제를 GSR 최소화 문제로 재정의하기 위해.
• BM3D나 EPLL과 같은 사전 필터링 기법을 사용하여 청소화된 이미지의 그룹 희소 계수를 고품질로 추정하기 위해.
• 잡음이 있는 이미지와 사전 필터링된 이미지의 두 NSS 사전 지식을 GSR 메커니즘을 통해 융합하여 복원의 강건성과 정확도를 향상시키기 위해.
• 지역적 이미지 콘텐츠에 따라 검색 창을 동적으로 조정함으로써 비국소 유사 패치 선택 정확도를 향상시키는 적응형 패치 검색(APS) 기법을 설계하기 위해.
• GSRC 최적화 문제를 해결하기 위한 반복적 수축 알고리즘을 개발하여 효율적이고 안정적인 수렴을 가능하게 하기 위해.
• GSRC 모델을 BM3D 및 EPLL 프레임워크에 통합하여 GSRC-BM3D 및 GSRC-EPLL을 구현함으로써 다양한 복원 파이프라인에서의 성능을 검증하기 위해.

실험 결과

연구 질문

• RQ1 잡음이 있는 이미지와 사전 필터링된 이미지에서 유도된 NSS 사전 지식을 융합함으로써, 단지 잡음이 있는 이미지의 사전 지식에 의존하는 기존 방법보다 더 뛰어난 복원 성능을 달성할 수 있는가?
• RQ2 잡음이 있는 이미지와 추정된 청소화된 이미지의 그룹 스parse 잔차를 최소화하는 것이 가장자리 보존 및 아티팩트 억제에 기여하는가?
• RQ3 적응형 패치 검색 기법이 고잡음 환경에서 비국소 유사 패치 선택 정확도를 크게 향상시킬 수 있는가?
• RQ4 제안된 반복적 수축 알고리즘이 빠른 수렴 속도와 낮은 계산 비용을 동시에 확보하면서 GSRC 모델을 효과적으로 해결할 수 있는가?
• RQ5 GSRC 프레임워크는 최신 기술 수준의 PSNR 및 SSIM 점수를 확보하면서도 경쟁적인 속도를 유지하는가?

주요 결과

• House 이미지에 대해 σ=75일 때 GSRC-BM3D는 PSNR 28.48 dB, SSIM 0.7992를 기록하여 WNNM(28.25 dB, 0.7883)과 AST-NLS(28.06 dB, 0.7720)를 모두 앞서며 성능을 뛰어넘었다.
• House 이미지에 대해 GSRC-EPLL는 PSNR 28.53 dB, SSIM 0.7998을 기록하여 BM3D와 WNNM을 포함한 모든 경쟁 방법을 초월했다.
• σ=50일 때 130066 이미지에 대해 GSRC-BM3D는 PSNR 26.69 dB, SSIM 0.7937을 기록하여 MS-EPLL(25.67 dB, 0.7833)와 AST-NLS(26.27 dB, 0.7715)를 모두 능가했다.
• σ=100일 때 223004 이미지에 대해 GSRC-BM3D는 PSNR 24.70 dB, SSIM 0.7182를 기록하여 NCSR(23.73 dB, 0.6882)와 GID(22.66 dB, 0.5997)를 크게 앞서며 성능을 뛰어넘었다.
• 제안된 적응형 패치 검색(APS) 기법은 12개의 테스트 이미지에서 평균적으로 0.3–0.5 dB의 PSNR 향상을 달성하여 No-APS 기반 대비 성능 향상을 입증했다.
• GSRC는 평균적으로 12개의 이미지에 대해 BM3D 사전 필터링 시 72초, EPLL 사전 필터링 시 148초가 소요되었으며, NCSR(348초), AST-NLS(459초), WNNM(202초)에 비해 뛰어난 속도 효율성을 확보했다.