[논문 리뷰] A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods

Zhaoming Kong, Xiaowei Yang외 1명|arXiv (Cornell University)|2020. 11. 06.

Image and Signal Denoising Methods참고 문헌 179인용 수 10

한 줄 요약

이 논문은 합성 및 실세계 데이터셋을 기반으로 60여 개의 다차원 이미지 노이즈 리덕션 방법을 종합적으로 평가하며, 정량적 지표, 시각적 품질, 인간 평가 및 계산 비용을 통해 성능을 평가한다. 연구는 BM3D 계열의 지속적인 우월성을 입증하며, 행렬 기반 방법이 텐서 기반 접근법과 경쟁할 수 있음을 보이며, 합성 가우시안 노이즈로 사전 훈련된 딥 뉴럴 네트워크(DNN)가 실세계 색상 이미지 및 영상에서 최신 기술 수준(SOTA) 성능을 달성함을 발견한다.

ABSTRACT

Filtering multi-dimensional images such as color images, color videos, multispectral images and magnetic resonance images is challenging in terms of both effectiveness and efficiency. Leveraging the nonlocal self-similarity (NLSS) characteristic of images and sparse representation in the transform domain, the block-matching and 3D filtering (BM3D) based methods show powerful denoising performance. Recently, numerous new approaches with different regularization terms, transforms and advanced deep neural network (DNN) architectures are proposed to improve denoising quality. In this paper, we extensively compare over 60 methods on both synthetic and real-world datasets. We also introduce a new color image and video dataset for benchmarking, and our evaluations are performed from four different perspectives including quantitative metrics, visual effects, human ratings and computational cost. Comprehensive experiments demonstrate: (i) the effectiveness and efficiency of the BM3D family for various denoising tasks, (ii) a simple matrix-based algorithm could produce similar results compared with its tensor counterparts, and (iii) several DNN models trained with synthetic Gaussian noise show state-of-the-art performance on real-world color image and video datasets. Despite the progress in recent years, we discuss shortcomings and possible extensions of existing techniques. Datasets and codes for evaluation are made publicly available at https://github.com/ZhaomingKong/Denoising-Comparison.

연구 동기 및 목표

• 색상 이미지, 영상, 다중스펙트럼, MRI 자료를 포함한 다차원 이미지 노이즈 리덕션 방법 간 종합적이고 대규모 비교의 부족을 해결하기 위해.
• 다양한 실내 및 실외 환경, 다양한 조명 조건에서 촬영한 다수의 카메라를 이용해 실세계 기반 벤치마크 데이터셋(IOCI 및 IOCV)을 구축하여 실제 환경의 도전 과제를 더 잘 반영하기 위해.
• 정량적 지표, 시각적 품질, 인간 인지, 계산 효율성의 네 가지 관점에서 노이즈 리덕션 방법을 평가하기 위해.
• 특히 텐서 기반 방법과 DNN의 실세계 노이즈로의 일반화 능력에 대한 제약 사항과 향후 개선 가능성을 규명하기 위해.

제안 방법

• 다양한 조명 조건과 환경에서 촬영한 다수의 카메라를 이용해 실세계 색상 이미지(IOCI) 및 영상(IOCV) 데이터셋을 신규로 수집하여 현실적인 벤치마크로 활용하기 위해.
• 합성 및 실세계 노이즈 환경에서 PSNR, SSIM, VMAF, 인간 시각 평가 및 런타임 측정을 통합한 다면적 평가 프레임워크를 도입하여 평가하기 위해.
• BM3D 계열 기법, 저질서 텐서 방법(T-HOSVD 등), 합성 가우시안 노이즈로 훈련된 딥 뉴럴 네트워크(DNN)를 포함한 60개 이상의 노이즈 리덕션 방법을 비교하기 위해.
• 비국소적 자기유사성과 변환 도메인 내 희박성 특성을 활용하기 위해 행렬 기반 및 텐서 기반 변환(HOSVD 등)을 적용하기 위해.
• 노이즈 억제를 위해 텐서 분해에서 하드 스레셔드링과 저질서 근사법을 사용하여 구조적 세부 정보를 유지하기 위해.
• 합성 가우시안 노이즈로 훈련된 DNN가 실세계 데이터에서 성능을 보임을 검증하여 일반화 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 다양한 이미지 모odal(모드)에서 BM3D 기반 방법과 최신 DNN 기반 및 텐서 기반 접근법 간의 노이즈 리덕션 성능를 비교할 때 어떤가?
• RQ2 어느 정도의 수준에서 행렬 기반 방법이 더 복잡한 텐서 기반 방법과 유사한 성능을 달성할 수 있는가?
• RQ3 합성 가우시안 노이즈로만 사전 훈련된 DNN가 복잡하고 비가우시안적인 노이즈를 지닌 실세계 노이즈 이미지 및 영상에 효과적으로 일반화될 수 있는가?
• RQ4 다양한 방법 유형 간에 노이즈 리덕션 품질, 시각적 정확도, 계산 비용 간의 상호 교환 관계는 어떠한가?
• RQ5 절단된 HOSVD 기반 노이즈 리덕션(T-HOSVD)의 한계는 무엇이며, 특히 과도한 평탄화 및 정보 손실 측면에서 어떤가?

주요 결과

• BM3D 계열은 다양한 다차원 노이즈 리덕션 작업에서 가장 효과적이고 효율적인 방법으로 남아 있으며, 정량적 지표와 인지적 평가 모두에서 최신 기술 대비 뚜렷한 우월성을 보였다.
• 간단한 행렬 기반 알고리즘(M-SVD)이 더 복잡한 텐서 기반 방법과 유사한 성능을 달성함을 확인하여, 최적의 결과를 얻기 위해 항상 텐서 모델링이 필요한 것은 아님을 시사한다.
• 합성 가우시안 노이즈로 사전 훈련된 몇몇 DNN 모델이 실세계 색상 이미지 및 영상 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성함을 확인하여, 도메인 차이가 있음에도 불구하고 강력한 일반화 능력을 지닌 것으로 나타났다.
• 절단된 HOSVD(T-HOSVD) 방법은 동일한 패치가 존재할 경우 노이즈가 없는 데이터에서도 과도한 평탄화 현상을 보이며, 저질서 근사 과정에서 세부 구조가 손실되기 때문이다.
• 인간의 시각 평가 결과는 PSNR 및 SSIM과 강한 상관관계를 보이며, 종합적인 평가를 위해 정량적 지표와 함께 사용할 수 있음을 검증한다.
• 새로운 IOCI 및 IOCV 데이터셋은 다양한 환경과 조명 조건을 포함하여 실세계 이미지 및 영상 노이즈 리덕션에 있어 귀중한 벤치마크를 제공하며, 이전 데이터셋에서 다루지 않은 요소들을 포함하고 있다.