[论文解读] ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction

Yubo Zhang, Jan‐Michael Frahm+5 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Vision and Imaging参考文献 44被引用 5

一句话总结

ColDE 是一种用于结肠镜视频重建的自监督深度估计框架，通过引入几何一致性损失和基于特征匹配的增强光度损失，提升了深度图质量。该方法仅在真实结肠镜数据上进行训练，无需先验知识，即可实现实时、无需后处理的高质量 3D 结肠网格重建，是首个在结肠镜检查中可临床应用的实时 3D 重建解决方案。

ABSTRACT

One of the key elements of reconstructing a 3D mesh from a monocular video is generating every frame's depth map. However, in the application of colonoscopy video reconstruction, producing good-quality depth estimation is challenging. Neural networks can be easily fooled by photometric distractions or fail to capture the complex shape of the colon surface, predicting defective shapes that result in broken meshes. Aiming to fundamentally improve the depth estimation quality for colonoscopy 3D reconstruction, in this work we have designed a set of training losses to deal with the special challenges of colonoscopy data. For better training, a set of geometric consistency objectives was developed, using both depth and surface normal information. Also, the classic photometric loss was extended with feature matching to compensate for illumination noise. With the training losses powerful enough, our self-supervised framework named ColDE is able to produce better depth maps of colonoscopy data as compared to the previous work utilizing prior depth knowledge. Used in reconstruction, our network is able to reconstruct good-quality colon meshes in real-time without any post-processing, making it the first to be clinically applicable.

研究动机与目标

• 为解决因纹理稀疏和光照不良导致的结肠镜视频重建中深度估计质量差的问题。
• 通过仅在真实结肠镜视频上实现完全自监督训练，消除对先验知识或半监督方法的依赖。
• 开发训练损失函数，以在深度和表面法线上强制实现几何一致性，提升帧间形状对齐效果。
• 实现实时、高质量的 3D 网格重建，无需后处理平均步骤。
• 生成可临床应用的 3D 重建结果，通过网格孔洞提醒医生注意未检查区域。

提出的方法

• 设计了一组几何一致性损失，约束帧间深度和表面法线预测，以确保形状一致性。
• 通过引入特征匹配，扩展标准光度损失，提升对光照变化和噪声的鲁棒性。
• 仅使用单目结肠镜视频，完全自监督地训练网络，无需任何真实深度监督或先验合成数据。
• 将深度和表面法线预测整合到统一的优化目标中，以提升 3D 网格重建的保真度。
• 采用多尺度网络架构，从 RGB 帧预测密集深度图，并通过可微渲染实现端到端训练。
• 利用预测的深度图和相机位姿，通过表面重建流水线实现实时 3D 网格重建。

实验结果

研究问题

• RQ1 自监督深度估计框架是否能在不依赖先验知识或半监督信号的情况下，实现高质量的 3D 结肠镜重建？
• RQ2 针对深度和表面法线的几何一致性损失在多大程度上改善了结肠镜重建中的形状对齐与网格质量？
• RQ3 特征匹配增强的光度损失在低纹理结肠镜场景中，对提升光照噪声鲁棒性的效果如何？
• RQ4 所提出的框架是否能实现实时、高保真度的 3D 网格重建，且无需后处理平均，从而支持临床部署？
• RQ5 表面法线一致性损失的引入在复杂结肠几何结构重建和伪影减少方面有何影响？

主要发现

• 在结肠模拟器数据集上，ColDE 在深度误差和精度方面均优于当前最先进的单目深度估计方法，且未使用任何先验知识。
• 完整版 ColDE 模型在专家评估中，79 例中有 62 例被分类为“高质量”重建，显著优于此前方法 [25]（无需平均处理）。
• 在无需后处理平均的情况下，ColDE 生成了高质量、连续的网格，稀疏性和伪影极少，而此前方法需依赖平均处理以减少孔洞。
• 消融实验表明，移除法线一致性损失会降低重建质量，证实其在捕捉复杂结肠形态中的关键作用。
• ColDE 实现了实时性能，支持在结肠镜检查过程中即时重建 3D 网格，这对临床应用至关重要。
• 该方法在 KITTI 数据集上也表现出色，证实其泛化能力不仅限于结肠镜应用。