[论文解读] A Joint Intensity and Depth Co-Sparse Analysis Model for Depth Map Super-Resolution

Martin Kiechle, Simon Hawe+1 more|arXiv (Cornell University)|Apr 19, 2013

Advanced Vision and Imaging参考文献 27被引用 9

一句话总结

该论文提出了一种联合强度与深度协同稀疏分析模型，利用对齐的高分辨率强度图像和低分辨率深度图像来重建高分辨率深度图。通过从训练数据中学习双模态分析算子，该方法在两种模态中同时强制实现稀疏性，从而在合成数据和真实世界Kinect数据上实现了优越的超分辨率与缺失深度值插补效果。

ABSTRACT

High-resolution depth maps can be inferred from low-resolution depth measurements and an additional high-resolution intensity image of the same scene. To that end, we introduce a bimodal co-sparse analysis model, which is able to capture the interdependency of registered intensity and depth information. This model is based on the assumption that the co-supports of corresponding bimodal image structures are aligned when computed by a suitable pair of analysis operators. No analytic form of such operators exist and we propose a method for learning them from a set of registered training signals. This learning process is done offline and returns a bimodal analysis operator that is universally applicable to natural scenes. We use this to exploit the bimodal co-sparse analysis model as a prior for solving inverse problems, which leads to an efficient algorithm for depth map super-resolution.

研究动机与目标

• 为解决从Kinect等主动传感器获取的低分辨率、噪声大且不完整的深度测量值中重建高分辨率深度图的挑战。
• 利用配准后的强度图像与深度图像中对应结构之间的统计相关性，以改善深度重建效果。
• 开发一种通用的、预训练的双模态分析算子，以捕捉强度与深度模态之间的协同稀疏表示。
• 将深度图超分辨率与插补问题统一为一个带有学习到的协同稀疏先验的正则化逆问题来求解。

提出的方法

• 构建一个双模态协同稀疏分析模型，其中强度与深度信号的协同支持在学习到的一对分析算子下对齐。
• 通过离线优化过程，从一组配准后的强度-深度训练对中联合学习双模态分析算子。
• 将深度图重建建模为一个由双模态协同稀疏先验正则化的线性逆问题，通过最小化结合数据保真度项与稀疏性项的代价函数来实现。
• 采用马哈拉诺比斯类型的数据保真度项，并基于观测到的深度值使用对角协方差矩阵，以处理噪声和缺失数据。
• 在测量矩阵中排除对应于零值（缺失）深度值的行，从而实现对遮挡区域的自动插补。
• 采用迭代优化算法（如邻近梯度法）求解非光滑、非凸的优化问题。

实验结果

研究问题

• RQ1 联合协同稀疏分析模型是否能有效利用强度与深度图像之间的结构对齐关系，实现深度图超分辨率？
• RQ2 能否从训练数据中学习到一个双模态分析算子，使其在不同自然场景和传感器类型间具有泛化能力？
• RQ3 所提出的方法是否在定量和定性深度重建方面均优于最先进方法，特别是在处理噪声和缺失数据方面？
• RQ4 所学习到的先验在多大程度上能实现无需额外处理的同步超分辨率与插补？

主要发现

• 该方法在Middlebury合成深度图基准测试中达到最先进性能，相对RMSE随迭代次数显著下降——最后400次迭代中减少了约0.2%。
• 同一预训练的双模态分析算子成功地从真实世界Kinect数据中重建出高分辨率深度图，证明了其在不同传感器模态间的泛化能力。
• 视觉结果表明，在细节恢复和表面平滑重建方面有显著提升，尤其在深度不连续区域和纹理丰富区域表现更优。
• 该方法能有效处理缺失的深度值（例如，由于Kinect数据中的遮挡导致），无需显式插补步骤，因为测量模型已将缺失像素排除在采样之外。
• 仅经过50次优化迭代即可获得高质量重建结果，表明实际应用中无需达到完全收敛。
• 该方法对不同噪声模型具有鲁棒性，并且在保留精细几何结构方面优于传统插值方法或单模态方法。