[논문 리뷰] A Trilateral Weighted Sparse Coding Scheme for Real-World Image Denoising

Jun Xu, Lei Zhang외 1명|arXiv (Cornell University)|2018. 07. 11.

Image and Signal Denoising Methods인용 수 19

한 줄 요약

이 논문은 실제 이미지의 노이즈를 제거하기 위해 삼중 가중치 희소 코딩(TWSC) 기법을 제안한다. 이 기법은 다중 채널 및 국소 패치에서 복잡하고 신호에 의존하는 노이즈를 모델링한다. 데이터 적합성에서의 노이즈 통계와 희소성에 대해 두 개의 적응형 가중치 행렬과 이미지의 희소성에 대해 하나의 가중치 행렬을 도입함으로써, 최신 기법들보다 뛰어난 노이즈 제거 성능을 달성한다. DND 데이터셋에서 PSNR 37.94 dB, SSIM 0.9403을 기록한다.

ABSTRACT

Most of existing image denoising methods assume the corrupted noise to be additive white Gaussian noise (AWGN). However, the realistic noise in real-world noisy images is much more complex than AWGN, and is hard to be modelled by simple analytical distributions. As a result, many state-of-the-art denoising methods in literature become much less effective when applied to real-world noisy images captured by CCD or CMOS cameras. In this paper, we develop a trilateral weighted sparse coding (TWSC) scheme for robust real-world image denoising. Specifically, we introduce three weight matrices into the data and regularisation terms of the sparse coding framework to characterise the statistics of realistic noise and image priors. TWSC can be reformulated as a linear equality-constrained problem and can be solved by the alternating direction method of multipliers. The existence and uniqueness of the solution and convergence of the proposed algorithm are analysed. Extensive experiments demonstrate that the proposed TWSC scheme outperforms state-of-the-art denoising methods on removing realistic noise.

연구 동기 및 목표

• 노이즈가 신호에 의존하고 패치 및 색채널 간에 변동하는 실제 이미지 노이즈 제거 문제를 해결하기 위해.
• 실제 이미지의 이질적인 노이즈 통계를 적응적으로 모델링하는 희소 코딩 프레임워크를 개발하기 위해.
• 희소 코딩 최적화에 채널별 및 패치별 노이즈 변동성을 통합하여 이미지 노이즈 제거 성능을 향상시키기 위해.
• ADMM를 사용한 잘 구조화된 최적화 프레임워크를 통해 안정성과 수렴성을 확보하기 위해.
• 실제 노이즈가 포함된 이미지 데이터셋에서 기존 최신 기법들을 능가하기 위해.

제안 방법

• TWSC 프레임워크는 세 개의 대각선 가중치 행렬을 도입한다: 데이터 적합성 항에 대한 각 패치의 노이즈 분산을 위한 W₁, 채널별 노이즈 적응을 위한 W₂, 정규화 항에서의 희소성 촉진을 위한 W₃.
• 이 방법은 ADMM(교차 방향 방법)를 통해 해결할 수 있는 선형 등식 제약 최적화 문제로 노이즈 제거 문제를 공식화한다.
• 각 ADMM 반복 단계에서 실레스터 방정식을 풀며, 해의 존재성과 유일성에 대한 이론적 보장을 받는다.
• 가중치 행렬은 반복적으로 학습된다: W₁은 국소 노이즈 분산을 반영하고, W₂는 패치 간 노이즈 수준의 변화를 적응적으로 반영하며, W₃는 이미지 구조 사전 지식을 코딩한다.
• 이 알고리즘은 특히 다중 채널 및 패치별로 변화하는 비균일하고 이질적인 노이즈를 다룰 수 있도록 설계되어 있으며, 실제 이미지에서의 비균일한 노이즈에 효과적이다.
• 이 프레임워크는 각 이미지의 진짜 지도 데이터가 필요 없이 실제 노이즈 이미지에서 엔드 투 엔드로 학습되며, 이미지 패치에서 추출한 노이즈 통계를 활용한다.

실험 결과

연구 질문

• RQ1 희소 코딩은 어떻게 실제 이미지에서 복잡하고 비정규분포이며 신호에 의존하는 노이즈를 모델링할 수 있는가?
• RQ2 적응형 가중치 행렬을 통해 국소적 및 채널별 노이즈 변동성을 포착함으로써 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ3 다양한 가중치 메커니즘(노이즈, 희소성, 구조)의 통합은 노이즈 제거의 안정성에 어떻게 기여하는가?
• RQ4 제안된 ADMM 기반 최적화 프로세스의 수렴 특성과 해의 안정성은 어떠한가?
• RQ5 제안된 TWSC 방법은 실제 노이즈가 포함된 이미지 벤치마크에서 기존 최신 기법들을 능가하는가?

주요 결과

• 제안된 TWSC 방법은 DND 데이터셋에서 PSNR 37.94 dB, SSIM 0.9403을 달성하여 비교된 모든 방법(CBM3D, TNRD, DnCNN, NC)을 능가한다.
• DND 데이터셋에서 TWSC는 두 번째로 우수한 성능을 보인 NC 방법보다 PSNR 0.57 dB 높고, SSIM 0.0209 높다.
• 시각적 비교 결과, TWSC는 특히 고노이즈 영역과 무늬가 있는 영역에서 더 깔끔한 결과를 생성하며 잡음 자국이 적다.
• 가중치 행렬 W₁은 국소 노이즈 분산을 효과적으로 포착하며, 실제 이미지에서는 패치 간에 값이 크게 변동하지만, 합성 AWGN 이미지에서는 상대적으로 균일하다.
• 가중치 행렬 W₂는 최적화 과정에서 동적으로 적응하며, 패치별 노이즈 수준을 반영한다. 실제 이미지에서는 합성 이미지보다 더 높은 변동성을 보인다.
• 처리 시간이 다소 길어(512×512 이미지당 195.2초), TWSC는 가장 높은 성능을 기록하며, 이는 복잡한 노이즈를 효과적으로 모델링할 수 있음을 보여준다.