[论文解读] An Approach for Noise Removal on Depth Images

Rashi Chaudhary, Himanshu Dasgupta|arXiv (Cornell University)|Feb 16, 2016

Advanced Vision and Imaging参考文献 11被引用 6

一句话总结

本文提出一种三阶段深度图像去噪方法，结合边缘检测、联合双边滤波和基于样本的图像修复，以在去除噪声的同时保留结构细节。该方法在峰值信噪比（PSNR）方面实现显著提升（最高达6.234 dB），并达到实时性能（每张752×520图像处理时间为32 ms），显著提升了三维重建与新视角渲染的深度图质量。

ABSTRACT

Image based rendering is a fundamental problem in computer vision and graphics. Modern techniques often rely on depth image for the 3D construction. However for most of the existing depth cameras, the large and unpredictable noises can be problematic, which can cause noticeable artifacts in the rendered results. In this paper, we proposed an efficacious method for depth image noise removal that can be applied for most RGBD systems. The proposed solution will benefit many subsequent vision problems such as 3D reconstruction, novel view rendering, object recognition. Our experimental results demonstrate the efficacy and accuracy.

研究动机与目标

• 解决RGB-D传感器获取的深度图像中噪声问题，该问题会降低三维重建与渲染质量。
• 克服传统滤波方法（如双边滤波）在复杂场景中模糊弱边缘的局限性。
• 开发一种在有效去除噪声的同时保持结构保真度的方法，以提升下游视觉任务的性能。
• 通过基于直方图的聚类与区域特定的图像修复优化计算成本，实现方法的实时应用。
• 通过仅在边缘定义区域内采用基于图像块的图像修复策略，提升深度图恢复的准确性。

提出的方法

• 应用Canny边缘检测识别显著边缘，并将图像分割为不同的结构区域。
• 使用联合双边滤波在保留边缘的同时平滑同质区域，由边缘图引导。
• 采用基于样本的图像修复策略，通过等照度线驱动的采样方式填充噪声或缺失区域。
• 使用复合度量 P(p) = C(p) × D(p) 定义补丁填充的优先级，其中 C(p) 为置信度，D(p) 为数据项。
• 仅在由边缘图定义的同一结构区域内进行补丁搜索，以保持几何一致性。
• 在边缘检测前采用基于直方图的聚类，以减少失真并提升处理效率。

实验结果

研究问题

• RQ1 如何改进深度图像去噪方法，以在去除噪声的同时保留弱边缘与复杂边缘？
• RQ2 结合滤波与图像修复的混合方法是否能比传统滤波方法取得更高的准确性？
• RQ3 在PSNR与视觉质量方面，补丁大小对去噪性能有何影响？
• RQ4 如何在不牺牲去噪精度的前提下降低图像修复的计算成本？
• RQ5 基于区域的图像修复（由检测到的边缘引导）在多大程度上提升了深度图的保真度？

主要发现

• 在使用20×20补丁大小的'Ballet'序列上，所提方法达到最高6.234 dB的PSNR，表明去噪精度极高。
• 对于752×520的图像，平均处理时间为32 ms，证明该方法在标准硬件上具备实时可行性。
• 该方法在多种测试样本与补丁大小下均表现出稳定性能，PSNR提升一致。
• 采用区域约束的补丁搜索显著提升了重建质量，通过保持结构一致性实现。
• 边缘检测、联合滤波与基于样本的图像修复三者结合，在保留细节方面优于标准双边滤波。
• 基于直方图的预处理可减少边缘检测中的失真，有助于更精确的区域分割与更优的图像修复结果。