[论文解读] Depth image denoising using nuclear norm and learning graph model

Chenggang Yan, Zhisheng Li+4 more|arXiv (Cornell University)|Aug 9, 2020

Image and Signal Denoising Methods参考文献 46被引用 12

一句话总结

本文提出了一种基于组的核范数与学习图（GNNLG）模型，用于深度图像去噪，通过学习图拉普拉斯矩阵，利用低秩和非局部自相似性先验来增强平滑效果。采用ADMM进行优化，该方法在PSNR和SSIM指标上均达到当前最优性能，在噪声水平高达σ = 30的基准深度图像上优于现有方法。

ABSTRACT

The depth images denoising are increasingly becoming the hot research topic nowadays because they reflect the three-dimensional (3D) scene and can be applied in various fields of computer vision. But the depth images obtained from depth camera usually contain stains such as noise, which greatly impairs the performance of depth related applications. In this paper, considering that group-based image restoration methods are more effective in gathering the similarity among patches, a group based nuclear norm and learning graph (GNNLG) model was proposed. For each patch, we find and group the most similar patches within a searching window. The intrinsic low-rank property of the grouped patches is exploited in our model. In addition, we studied the manifold learning method and devised an effective optimized learning strategy to obtain the graph Laplacian matrix, which reflects the topological structure of image, to further impose the smoothing priors to the denoised depth image. To achieve fast speed and high convergence, the alternating direction method of multipliers (ADMM) is proposed to solve our GNNLG. The experimental results show that the proposed method is superior to other current state-of-the-art denoising methods in both subjective and objective criterion.

研究动机与目标

• 为解决深度相机获取的深度图像受噪声污染的问题，该问题会降低3D视觉应用的性能。
• 利用深度图像固有的低秩性和非局部自相似性特征，以提升去噪效果。
• 设计一种鲁棒的图拉普拉斯矩阵构建方法，以捕捉图像块的内在流形结构。
• 设计一种高效优化框架，具备快速收敛性和高稳定性，用于求解非凸去噪模型。
• 在定量指标和视觉质量方面均超越现有最先进去噪方法。

提出的方法

• 从每个图像块周围的搜索窗口中分组相似块，以利用非局部自相似性。
• 应用核范数正则化，对分组后的块施加低秩结构，以建模图像的内在内容。
• 从数据中学习图拉普拉斯矩阵，以表示图像块的内在拓扑结构。
• 构建一个联合优化问题，结合数据保真项、低秩项和图正则化项。
• 使用交替方向乘子法（ADMM）高效求解非凸优化问题，实现高速收敛。
• 通过一种迭代策略优化图拉普拉斯矩阵，使其自适应于局部图像结构。

实验结果

研究问题

• RQ1 基于组的低秩模型结合学习图正则化，是否能优于现有方法提升深度图像去噪性能？
• RQ2 学习得到的图拉普拉斯矩阵与基于固定距离的图构造方法相比，在捕捉图像结构方面表现如何？
• RQ3 结合核范数与基于图的先验是否能在PSNR和SSIM指标上带来更好的去噪性能？
• RQ4 ADMM能否高效求解所提出的非凸优化问题，实现快速收敛与高稳定性？
• RQ5 该方法在保留噪声深度图像中的精细细节和边缘方面，表现如何？

主要发现

• 所提出的GNNLG方法在σ = 25时达到最高的平均PSNR（37.36 dB）和SSIM（0.9539），优于所有对比方法。
• 在σ = 30时，GNNLG的平均PSNR为36.20 dB，SSIM为0.9463，显著优于NLM、CSR、NLGBT、BM3D和WNNM。
• 在Moebius、Teddy、Art和Cones等图像上的视觉对比显示，GNNLG在保留更精细结构和减少伪影方面优于NLM、BM3D和WNNM。
• 在σ = 15时，GNNLG在Moebius图像上的PSNR达到41.37 dB，超过BM3D（40.71 dB）和WNNM（40.28 dB）。
• 基于ADMM的求解器表现出高速收敛性和高稳定性，证实了算法的鲁棒性与自适应能力。
• 学习得到的图拉普拉斯矩阵能有效捕捉非局部自相似性与内在流形结构，从而实现更优的平滑与噪声抑制效果。