[论文解读] Data Driven Robust Image Guided Depth Map Restoration

Wei Liu, Yun Gu+4 more|arXiv (Cornell University)|Dec 26, 2015

Advanced Vision and Imaging参考文献 7被引用 4

一句话总结

本文提出了一种数据驱动的鲁棒优化框架，用于高质量图像引导的深度图恢复，采用一种新颖的鲁棒指数误差范数，同时处理数据项和光滑性项，以应对噪声和深度-颜色边缘不一致问题。该方法采用IRLS求解器和数据驱动的自适应参数选择方案，在高倍数上采样（例如8×）时，显著提升了对锐利深度不连续性的保持能力，并有效抑制了纹理复制伪影。

ABSTRACT

Depth maps captured by modern depth cameras such as Kinect and Time-of-Flight (ToF) are usually contaminated by missing data, noises and suffer from being of low resolution. In this paper, we present a robust method for high-quality restoration of a degraded depth map with the guidance of the corresponding color image. We solve the problem in an energy optimization framework that consists of a novel robust data term and smoothness term. To accommodate not only the noise but also the inconsistency between depth discontinuities and the color edges, we model both the data term and smoothness term with a robust exponential error norm function. We propose to use Iteratively Re-weighted Least Squares (IRLS) methods for efficiently solving the resulting highly non-convex optimization problem. More importantly, we further develop a data-driven adaptive parameter selection scheme to properly determine the parameter in the model. We show that the proposed approach can preserve fine details and sharp depth discontinuities even for a large upsampling factor ($8 imes$ for example). Experimental results on both simulated and real datasets demonstrate that the proposed method outperforms recent state-of-the-art methods in coping with the heavy noise, preserving sharp depth discontinuities and suppressing the texture copy artifacts.

研究动机与目标

• 解决现有图像引导深度恢复方法在处理严重噪声和深度不连续性模糊化方面的局限性。
• 克服因深度不连续性与颜色边缘不一致而引起的纹理复制伪影问题。
• 开发一种鲁棒的优化框架，即使在较大的上采样因子（例如8×）下也能保持高质量的深度恢复效果。
• 通过引入数据驱动的自适应带宽选择方案，消除启发式参数选择，提升泛化能力与细节保持能力。

提出的方法

• 将深度恢复建模为能量最小化问题，基于高斯窗口内'像素到块'差异的鲁棒数据项，采用鲁棒指数误差范数进行惩罚。
• 引入一种能适应深度边缘与颜色边缘不一致性的鲁棒光滑性项，从而减少纹理复制伪影。
• 使用迭代重加权最小二乘法（IRLS）算法，通过迭代求解线性系统，高效求解高度非凸的优化问题。
• 实现一种数据驱动的自适应参数选择方案，基于局部图像统计特性动态确定正则化参数λ，从而增强细节与不连续性保持能力。
• 利用配准后的彩色图像作为引导，以保持空间一致性，同时保留深度特有的结构。
• 在模拟和真实数据集（包括ToF和Kinect深度图）上应用该优化框架，并进行归一化处理与标准RMSE评估。

实验结果

研究问题

• RQ1 如何设计一种鲁棒数据项，以有效处理深度图中的严重噪声，同时保持精细细节？
• RQ2 当深度不连续性与颜色边缘不一致时，鲁棒光滑性项在多大程度上能减轻纹理复制伪影？
• RQ3 基于IRLS的数值求解器能否高效且稳定地求解深度图恢复中的高度非凸优化问题？
• RQ4 与固定或启发式参数选择相比，数据驱动的自适应参数选择方案在不同上采样因子下如何提升性能？
• RQ5 所提出方法在定量指标（如RMSE）和定性上对锐利深度不连续性的保持方面，是否优于当前最先进技术？

主要发现

• 所提方法在模拟ToF数据上取得最低RMSE（0.75），在真实ToF数据集上平均RMSE为12.33mm，优于所有对比方法。
• 在NYU Kinect数据集上，该方法取得最低平均RMSE（0.75），显著优于NLM-MRF（1.27）和AR模型（1.02）。
• 视觉结果表明，该方法在8×和16×上采样因子下，对锐利深度不连续性的保持效果更优，且模糊程度最小。
• 该方法能有效抑制纹理复制伪影——如图8中“球”区域所示——其他方法错误地将颜色纹理传递到了深度边缘。
• 数据驱动的自适应带宽选择使方法在不同上采样因子下保持一致的性能表现，尤其在8×和16×时有显著提升。
• IRLS求解器收敛稳定且高效，无需定制实现即可使用标准线性求解器，显著提升了实用性。