[论文解读] 3D endoscopic depth estimation using 3D surface-aware constraints

Shang Zhao, Ce Wang+3 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种新颖的3D表面感知损失（定向点损失，Oriented Point loss），用于内窥镜深度估计，通过利用相机参数提供的3D几何约束，提升了深度估计的准确性与收敛性。通过集成光泽度去除模块与表面感知监督，该方法在SCARED和Hamlyn数据集上实现了最先进性能，相较于基线方法，平均绝对误差（MAE）降低48.62mm，均方根误差（RMSE）降低43.46mm。

ABSTRACT

Robotic-assisted surgery allows surgeons to conduct precise surgical operations with stereo vision and flexible motor control. However, the lack of 3D spatial perception limits situational awareness during procedures and hinders mastering surgical skills in the narrow abdominal space. Depth estimation, as a representative perception task, is typically defined as an image reconstruction problem. In this work, we show that depth estimation can be reformed from a 3D surface perspective. We propose a loss function for depth estimation that integrates the surface-aware constraints, leading to a faster and better convergence with the valid information from spatial information. In addition, camera parameters are incorporated into the training pipeline to increase the control and transparency of the depth estimation. We also integrate a specularity removal module to recover more buried image information. Quantitative experimental results on endoscopic datasets and user studies with medical professionals demonstrate the effectiveness of our method.

研究动机与目标

• 为解决机器人辅助内窥镜手术中缺乏3D空间感知的问题，该问题限制了术中情境意识与手术精度。
• 通过利用超越2D像素级监督的3D几何约束，提升内窥镜图像中的深度估计性能。
• 通过专用的光泽度去除模块，恢复被高光掩盖的纹理信息。
• 通过在损失函数中引入相机参数与表面感知几何先验，提升训练稳定性和收敛性。
• 通过定量评估与经验丰富的外科医生参与的用户研究，验证该方法的临床相关性。

提出的方法

• 提出一种定向点（OP）损失，利用反投影的深度像素与相机参数，编码3D表面特性，形成3D定向点。
• OP损失包含两部分：点距离（用于边界精度）与法向相似性（用于局部表面平滑性）。
• 将相机参数整合至训练流程中，实现显式的几何控制，提升深度估计的可解释性。
• 采用即插即用的光泽度去除模块，恢复高光区域的纹理特征，增强立体匹配的特征提取能力。
• 采用模块化流程：光泽度去除 → CNN特征提取 → 立体匹配 → OP损失监督用于深度预测。
• 利用相机内参与外参对深度像素进行反投影，计算用于损失计算的3D表面点。

实验结果

研究问题

• RQ1 3D表面感知的几何约束是否能提升内窥镜图像中的深度估计性能？
• RQ2 将相机参数引入训练流程，对深度估计的可解释性与控制能力有何影响？
• RQ3 光泽度去除在高反射性内窥镜图像中，对深度估计精度的提升程度如何？
• RQ4 与标准的2D图像空间损失相比，所提出的定向点损失是否能实现更快收敛与更好泛化能力？
• RQ5 在临床环境中，模型的深度预测结果与真实值及人类感知相比表现如何？

主要发现

• 所提出的OP损失在SCARED完整测试集上，相较于基线方法，将平均绝对误差（MAE）降低48.62mm，均方根误差（RMSE）降低43.46mm。
• 在SCARED数据集的关键帧3上，采用OP损失的模型相比无光泽度去除的基线方法，MAE降低6.16mm，RMSE降低4.44mm。
• 用户研究显示，外科医生评价本方法的深度预测结果与RGB图像具有更高的空间相关性（平均评分3.7 vs. 3.0，真实值为3.0），且3D视觉质量更优。
• 光泽度去除模块在SCARED完整测试集上使MAE提升3.79mm，RMSE提升1.05mm，证实其有效性。
• 同时包含点距离与法向相似性组件的OP损失取得最佳整体性能，RMSE表现优于单一组件，表明二者协同提升了模型鲁棒性。
• 定性结果表明，OP损失能够恢复基线模型甚至真实值中部分缺失的细粒度表面细节，如曲面边界。