[论文解读] Depth Reconstruction of Translucent Objects from a Single Time-of-Flight Camera using Deep Residual Networks

Seongjong Song, Hyunjung Shim|arXiv (Cornell University)|Sep 28, 2018

Advanced Optical Sensing Technologies参考文献 23被引用 6

一句话总结

本文提出一种深度残差网络（ResNet）方法，通过利用前景和背景深度图的多尺度块作为输入，从单个飞行时间（ToF）相机重建半透明物体的3D深度。该方法通过结合局部特征与语义特征，无需物理模型或受控环境，在传感器噪声条件下仍能实现最先进水平的精度与鲁棒性。

ABSTRACT

We propose a novel approach to recovering the translucent objects from a single time-of-flight (ToF) depth camera using deep residual networks. When recording the translucent objects using the ToF depth camera, their depth values are severely contaminated due to complex light interactions with the surrounding environment. While existing methods suggested new capture systems or developed the depth distortion models, their solutions were less practical because of strict assumptions or heavy computational complexity. In this paper, we adopt the deep residual networks for modeling the ToF depth distortion caused by translucency. To fully utilize both the local and semantic information of objects, multi-scale patches are used to predict the depth value. Based on the quantitative and qualitative evaluation on our benchmark database, we show the effectiveness and robustness of the proposed algorithm.

研究动机与目标

• 为解决商业ToF相机在捕捉半透明物体时存在的严重深度失真问题。
• 开发一种实用的、数据驱动的解决方案，无需依赖受控环境或物理约束。
• 通过多尺度块处理结合局部与语义特征，提升深度重建精度。
• 确保对传感器噪声的鲁棒性，此类噪声在ToF相机中常见，源于低光照与短曝光时间。
• 为未来半透明物体重建的基于学习的基准研究建立基础。

提出的方法

• 该方法采用深度残差网络（ResNet）架构，从原始ToF深度图中学习深度校正。
• 通过处理前景与背景深度图的多尺度块，捕捉局部细节与全局上下文信息。
• 网络中排除批量归一化层，以避免归一化误差，并提升在噪声输入下的性能。
• 输入包含两幅深度图：一幅来自物体表面，另一幅来自背景，从而实现更精确的深度估计。
• 使用包含多种条件下半透明物体的大规模基准数据集，进行端到端训练。
• 该方法完全基于数据驱动，无需物理约束或材料属性的先验知识。

实验结果

研究问题

• RQ1 深度学习模型是否能有效在无物理模型或受控环境的条件下，从单个ToF相机恢复半透明物体的准确3D深度？
• RQ2 与单尺度或全局处理相比，多尺度块处理在多大程度上提升了深度重建精度？
• RQ3 所提出的方法在ToF相机常见的传感器噪声下，其鲁棒性达到何种程度？
• RQ4 该模型能否泛化到具有不同形状与表面曲率的物体，包括非平面与圆形物体？
• RQ5 在噪声较大的真实ToF数据上，排除批量归一化对性能有何影响？

主要发现

• 所提方法在基准数据集上实现了最低的RMSE（70.4 mm），在所有定量指标上均优于基线方法。
• 在噪声标准差高达16 mm的所有噪声水平下，模型均保持稳定性能，仅出现轻微误差增加。
• 在32 mm噪声下，RMSE上升至72.8 mm；在128 mm噪声下，上升至143.8 mm，表明仅在极端噪声条件下性能出现退化。
• 定性结果表明，与单尺度块网络相比，本方法生成的深度图更平滑，伪影更少，后者在曲面区域会产生波纹状失真。
• 模型对训练集中未包含的圆形物体也表现出良好的泛化能力，证明其对形状变化具有鲁棒性。
• 消融实验确认，多尺度块处理与排除批量归一化显著提升了模型性能。