[논문 리뷰] A Brief Review of Real-World Color Image Denoising

Zhaoming Kong, Xiaowei Yang|arXiv (Cornell University)|2018. 09. 10.

Image and Signal Denoising Methods참고 문헌 9인용 수 4

한 줄 요약

이 논문은 실세계 색상 이미지 노이즈 제거 기법을 종합적으로 검토하며, 국소적 유사성과 변환 도메인 기법의 조합에 중점을 둔다. 자연 외부 풍경을 포함한 새로운 데이터셋을 제시하고, CBM3D와 MS-TSVD가 최고 성능을 보임을 입증한다. 제안된 리사이징 및 노이즈 제거 전략은 일부 세부 정보 손실을 감수하면서도 시각적 부드러움을 크게 향상시킨다.

ABSTRACT

Filtering real-world color images is challenging due to the complexity of noise that can not be formulated as a certain distribution. However, the rapid development of camera lens pos- es greater demands on image denoising in terms of both efficiency and effectiveness. Currently, the most widely accepted framework employs the combination of transform domain techniques and nonlocal similarity characteristics of natural images. Based on this framework, many competitive methods model the correlation of R, G, B channels with pre-defined or adaptively learned transforms. In this chapter, a brief review of related methods and publicly available datasets is presented, moreover, a new dataset that includes more natural outdoor scenes is introduced. Extensive experiments are performed and discussion on visual effect enhancement is included.

연구 동기 및 목표

• 비국소적 유사성과 변환 도메인 기법에 기반한 기존 실세계 색상 이미지 노이즈 제거 방법에 대한 종합적인 검토를 제공하는 것.
• 기존 데이터셋이 주로 실내 풍경으로 구성되어 있는 한계를 보완하기 위해 다양한 자연 외부 풍경을 포함한 새로운 데이터셋을 제안하는 것.
• 특히 대규모 외부 이미지에서 실재 조건 하에서 최첨단 노이즈 제거 방법의 효과성과 효율성을 평가하는 것.
• 이미지 리사이징과 고급 필터링을 통해 균일하고 노이즈가 많은 영역에서의 시각적 품질 향상을 위한 실용적 전략을 탐구하는 것.
• 상용 소프트웨어(네이트 이미지)와 오픈소스 방법 간의 비교를 통해 아티팩트 억제와 세부 정보 유지 간의 트레이드오프를 분석하는 것.

제안 방법

• 유사한 패치를 그룹화하고, 변환 도메인에서 협동 필터링을 수행하며, 최종적으로 결과를 집계하는 세 단계로 구성된 비국소적 및 변환 도메인 프레임워크를 활용한다.
• DCT, PCA, SVD, 텐서 기반 4차원 HOSVD, 위너 필터링과 같은 사전 정의되거나 학습된 변환을 사용하여 이미지 패치를 희박하게 표현한다.
• 색상 간 상관관계를 활용하기 위해 색채도-명도(CBM3D) 또는 Hue-Saturation-Value 변환과 같은 색상 특화 모델링을 적용한다.
• 새로운 리사이징 및 노이즈 제거 전략을 도입한다: MS-TSVD를 사용해 노이즈가 있는 이미지를 먼저 리샘플링한 후, 이중선형 보간을 통해 확대하여 부드러움을 향상시킨다.
• 동일한 장면을 여러 번 촬영한 결과를 평균하여 청소된 기준 데이터를 시뮬레이션하기 위해 참조 이미지를 생성한다.
• PSNR와 SSIM을 사용하여 다양한 데이터셋, 특히 고해상도 이미지를 포함한 새로 제안된 외부 풍경 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 데이터셋에 포함되지 않은 대규모 자연 외부 풍경에서 실세계 색상 이미지 노이즈 제거 기법은 어떻게 성능을 발휘하는가?
• RQ2 CBM3D와 MS-TSVD와 같은 최첨단 기법과 네이트 이미지와 같은 상용 소프트웨어 간의 시각적 및 정량적 트레이드오프는 무엇인가?
• RQ3 리사이징 및 노이즈 제거 전략은 세부 정보 손실을 크게 감수하지 않고 균일 영역의 시각적 부드러움을 향상시킬 수 있는가?
• RQ4 DCT, SVD, 텐서 기반 기법과 같은 다양한 변환 기법은 실세계 이미지의 복잡하고 신호 의존적인 노이즈를 다룰 때 어떻게 비교되는가?
• RQ5 그룹화 및 필터링 전략의 선택이 다양한 조명 조건이 존재하는 도전적인 외부 풍경에서 성능에 얼마나 영향을 미치는가?

주요 결과

• CBM3D는 특히 대규모 고해상도 외부 이미지에서 PSNR와 SSIM 측면에서 다른 방법들보다 뛰어난 성능을 보인다.
• 제안된 리사이징 및 노이즈 제거 전략은 DND 및 RENOIR 데이터셋에서의 시각적 비교를 통해 균일 영역에서 과도한 부드러움과 색상 아티팩트를 크게 감소시킨다.
• 네이트 이미지는 대부분의 오픈소스 방법보다 더 부드러운 결과를 생성하지만, 세부 정보 손실을 동반하므로 부드러움과 정확도 사이의 트레이드오프가 존재한다.
• MS-TSVD는 뛰어난 성능을 보이지만 매우 노이즈가 많고 균일한 영역에서는 아티팩트가 발생하며, 리사이징 전략이 이를 완화하는 데 기여한다.
• 새로운 외부 풍경 데이터셋은 기존 방법, 특히 최첨단 기법들조차 실내 설정보다 더 복잡한 조명 및 질감 변화에 더 어려움을 겪는다는 것을 드러낸다.
• MS-TSVD에서 저랭크 근사와 희박 코딩의 조합은 유망한 성능을 보이지만, 최적의 결과를 얻기 위해서는 랭크 파라미터의 정교한 튜닝이 필요하다.