[论文解读] A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods

Zhaoming Kong, Xiaowei Yang+1 more|arXiv (Cornell University)|Nov 6, 2020

Image and Signal Denoising Methods参考文献 179被引用 10

一句话总结

本文在合成数据和真实世界数据集上对超过60种多维图像去噪方法进行了全面基准测试，通过定量指标、视觉质量、人工评分和计算成本对性能进行评估。结果表明，BM3D家族在有效性和效率方面仍具持续优势；基于矩阵的方法可与基于张量的方法相媲美；在合成高斯噪声上预训练的深度神经网络（DNN）在真实世界彩色图像和视频上实现了最先进性能。

ABSTRACT

Filtering multi-dimensional images such as color images, color videos, multispectral images and magnetic resonance images is challenging in terms of both effectiveness and efficiency. Leveraging the nonlocal self-similarity (NLSS) characteristic of images and sparse representation in the transform domain, the block-matching and 3D filtering (BM3D) based methods show powerful denoising performance. Recently, numerous new approaches with different regularization terms, transforms and advanced deep neural network (DNN) architectures are proposed to improve denoising quality. In this paper, we extensively compare over 60 methods on both synthetic and real-world datasets. We also introduce a new color image and video dataset for benchmarking, and our evaluations are performed from four different perspectives including quantitative metrics, visual effects, human ratings and computational cost. Comprehensive experiments demonstrate: (i) the effectiveness and efficiency of the BM3D family for various denoising tasks, (ii) a simple matrix-based algorithm could produce similar results compared with its tensor counterparts, and (iii) several DNN models trained with synthetic Gaussian noise show state-of-the-art performance on real-world color image and video datasets. Despite the progress in recent years, we discuss shortcomings and possible extensions of existing techniques. Datasets and codes for evaluation are made publicly available at https://github.com/ZhaomingKong/Denoising-Comparison.

研究动机与目标

• 为解决多维图像去噪方法（尤其是彩色图像、视频、多光谱和MRI数据）之间缺乏全面、大规模比较的问题。
• 构建一个新的真实世界基准数据集（IOCI和IOCV），涵盖不同光照条件下多样化的室内和室外场景，以更好地反映真实世界中的挑战。
• 从四个角度评估去噪方法：定量指标、视觉质量、人类感知和计算效率。
• 识别现有去噪技术的局限性及潜在改进方向，特别是关于张量方法的应用以及DNN在真实世界噪声上的泛化能力。

提出的方法

• 提出一个新的真实世界彩色图像（IOCI）和视频（IOCV）数据集，通过多种相机在不同光照和场景条件下采集，用作现实基准。
• 采用多维度评估框架，结合PSNR、SSIM、VMAF、人工视觉评分和运行时间测量，在合成和真实世界噪声中进行评估。
• 对比超过60种去噪方法，包括BM3D家族技术、低秩张量方法（如T-HOSVD）以及在合成高斯噪声上训练的深度神经网络（DNN）。
• 应用基于矩阵和张量的变换（如HOSVD），以利用变换域中非局部自相似性和稀疏性实现降噪。
• 在张量分解中使用硬阈值化和低秩近似，以抑制噪声同时保留结构细节。
• 验证DNN在真实世界数据上的性能，尽管其仅在合成高斯噪声上进行训练，评估其泛化能力。

实验结果

研究问题

• RQ1 在多种图像模态中，基于BM3D的方法与更新的DNN方法和张量方法相比，其去噪性能如何？
• RQ2 基于矩阵的方法在多维去噪中能在多大程度上实现与更复杂的张量方法相当的性能？
• RQ3 仅在合成高斯噪声上训练的DNN能否有效泛化到具有复杂非高斯噪声的真实世界图像和视频？
• RQ4 在不同方法族之间，去噪质量、视觉保真度和计算成本之间的权衡如何？
• RQ5 截断HOSVD（T-HOSVD）去噪方法的局限性是什么，特别是关于过度平滑和信息损失方面？

主要发现

• BM3D家族在各种多维去噪任务中仍是最有效且高效的算法，无论在定量指标还是感知质量方面，均持续优于新近方法。
• 一种简单的基于矩阵的算法（M-SVD）实现了与更复杂的张量方法相当的去噪性能，表明在最优结果下，张量建模并不总是必需的。
• 若干在合成高斯噪声上预训练的DNN模型在真实世界彩色图像和视频数据集上实现了最先进性能，表明其尽管存在域偏移，仍具备强大的泛化能力。
• 即使在无噪声数据上，截断HOSVD（T-HOSVD）方法在图像块完全相同时也表现出过度平滑现象，这是由于低秩近似过程中细粒度结构的损失所致。
• 人工视觉评分与PSNR和SSIM等客观指标具有强相关性，验证了结合使用两者进行综合评估的有效性。
• 新提出的IOCI和IOCV数据集为真实世界图像和视频去噪提供了宝贵的基准，其涵盖多样化的场景和光照条件，是现有数据集未覆盖的。