[논문 리뷰] Image Denoising with Kernels based on Natural Image Relations

Valero Laparra, J. Aguado외 2명|arXiv (Cornell University)|2016. 01. 31.

Image and Signal Denoising Methods참고 문헌 61인용 수 22

한 줄 요약

이 논문은 자연 이미지의 웨이블릿 계수 간의 통계적 관계를 이용하기 위해 웨이블릿 도메인에서 서포트 벡터 회귀(SVR)를 사용하는 비모수적 이미지 노이즈 제거 방법을 제안한다. 자연 이미지 데이터베이스에서 상호정보량을 기반으로 이방향 커널을 학습함으로써, 독립 계수 모델보다 우수한 성능을 보이며, 명시적인 노이즈 모델 재정의 없이도 복잡한 비정규 노이즈 조건에서도 최신 기법과 맞먹거나 이를 초월한다.

ABSTRACT

A successful class of image denoising methods is based on Bayesian approaches working in wavelet representations. However, analytical estimates can be obtained only for particular combinations of analytical models of signal and noise, thus precluding its straightforward extension to deal with other arbitrary noise sources. In this paper, we propose an alternative non-explicit way to take into account the relations among natural image wavelet coefficients for denoising: we use support vector regression (SVR) in the wavelet domain to enforce these relations in the estimated signal. Since relations among the coefficients are specific to the signal, the regularization property of SVR is exploited to remove the noise, which does not share this feature. The specific signal relations are encoded in an anisotropic kernel obtained from mutual information measures computed on a representative image database. Training considers minimizing the Kullback-Leibler divergence (KLD) between the estimated and actual probability functions of signal and noise in order to enforce similarity. Due to its non-parametric nature, the method can eventually cope with different noise sources without the need of an explicit re-formulation, as it is strictly necessary under parametric Bayesian formalisms. Results under several noise levels and noise sources show that: (1) the proposed method outperforms conventional wavelet methods that assume coefficient independence, (2) it is similar to state-of-the-art methods that do explicitly include these relations when the noise source is Gaussian, and (3) it gives better numerical and visual performance when more complex, realistic noise sources are considered. Therefore, the proposed machine learning approach can be seen as a more flexible (model-free) alternative to the explicit description of wavelet coefficient relations for image denoising.

연구 동기 및 목표

• 웨이블릿 계수 간의 통계적 독립성을 가정하는 기존 웨이블릿 노이즈 제거 방법의 한계를 해결하기 위해.
• 명시적인 노이즈 및 신호 모델이 필요한 파rametric 베이지안 방법의 유연한 모델-프리 대안을 개발하기 위해.
• 자연 이미지 웨이블릿 계수 간의 내재된 통계적 의존성을 활용하여 노이즈 제거 성능을 향상시키기 위해.
• 재정의 없이도 다양한 실제 노이즈 원천—비정규 및 구조적 노이즈 포함—에 대해 강건한 노이즈 제거를 가능하게 하기 위해.
• 커널 기반 방법을 통해 신호 관계를 학습하는 것이 복잡한 노이즈 환경에서 명시적 모델링을 능가할 수 있음을 입증하기 위해.

제안 방법

• 웨이블릿 도메인에서 서포트 벡터 회귀(SVR)를 사용하여 웨이블릿 계수 간의 통계적 의존성을 강제한다.
• 대표적인 자연 이미지 데이터베이스에서 계산된 상호정보량을 기반으로 이방향 커널 함수를 구성한다.
• 각 웨이블릿 서브밴드의 추정된 신호 및 노이즈 분산에 기반하여 서브밴드별 정규화 파ram터(εi 및 Ci)를 적응적으로 조정한다.
• 추정된 신호/노이즈 확률 분포와 진정된 분포 간의 Kullback-Leibler 발산(KLD) 기반 기준을 사용하여 최적의 SVR 모델을 선택한다.
• 해석적 노이즈 또는 신호 모델에 의존하지 않아도 되는 비모수적 접근법으로, 임의의 노이즈 원천에 직접 적응 가능하다.
• SVR의 정규화 성질을 활용: 신호 관계는 유지되며, 구조가 없는 노이즈는 억제된다.

실험 결과

연구 질문

• RQ1 자연 이미지의 웨이블릿 계수 간의 통계적 의존성을 특정 파rametric 모델을 가정하지 않고 효과적으로 학습하고 노이즈 제거에 활용할 수 있는가?
• RQ2 정규 노이즈와 비정규 노이즈 조건에서, 비모수적 SVR 기반 노이즈 제거 방법의 성능이 기존 웨이블릿 임계치 처리 및 최신 기반 모델 방법과 비교해 어떻게 되는가?
• RQ3 자연 이미지 통계에 기반한 커널 기반 방법이 재정의 없이 다양한 실제 노이즈 원천에 대해 얼마나 일반화되는가?
• RQ4 서로 다른 계수 간의 관계를 상호정보량을 통해 학습하는 것이 독립성 가정에 비해 노이즈 제거 성능을 향상시키는가?
• RQ5 KLD 기반 모델 선택 기준이 웨이블릿 노이즈 제거에 최적의 SVR 설정을 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 SVR 방법은 계수 간 독립성을 가정하는 기존 웨이블릿 노이즈 제거 기법보다 유의미하게 뛰어나며, 특히 미세한 디테일과 텍스처를 보존하는 데서 두각을 나타낸다.
• 정규 노이즈 조건에서는 계수 간 의존성을 명시적으로 코딩한 최신 기반 모델 방법과 유사한 성능을 달성한다.
• JPEG 및 JPEG2000 양자화와 같은 비정규 노이즈 원천에서는 수치적 및 시각적으로 뛰어난 결과를 제공하며, 노이즈의 비정규성 및 이방향성을 정확히 포착한다.
• 경계 모수 방법(예: 하드/소프트 임계치 처리)이 노이즈 폭을 과도하거나 과소 평가하는 것에 비해, 이 방법은 노이즈 분포의 분산과 형태(예: JPEG의 중심 타원체)를 더 정확히 추정한다.
• KLD 기반 모델 선택 기준은 항상 높은 성능을 보이는 SVR 설정을 식별하지만, 복잡한 노이즈 환경에서는 향상 여지가 남아 있다.
• 결과는 자연 이미지에서 신호 특화 계수 관계가 중요한 특징임을 확인하며, 이는 노이즈 제거에 통합되어야 하며, 제안된 방법은 명시적 베이지안 모델링의 강력한 모델-프리 대안을 제공한다.