[论文解读] MIS-SLAM: Real-time Large Scale Dense Deformable SLAM System in Minimal Invasive Surgery Based on Heterogeneous Computing

Jingwei Song, Jun Wang+3 more|arXiv (Cornell University)|Mar 6, 2018

Robotics and Sensor-Based Localization参考文献 17被引用 3

一句话总结

MIS-SLAM 提出了一种基于异构 CPU-GPU 计算的实时、大规模密集形变 SLAM 系统，用于微创手术。通过在 CPU 上集成 ORB-SLAM 以实现鲁棒的全局位姿估计，同时在 GPU 上加速密集重建与融合，该系统在快速相机运动和图像模糊的情况下，仍能实现对形变组织的实时、高精度 3D 地图构建，在活体数据集上实现了亚毫米级精度。

ABSTRACT

Real-time simultaneously localization and dense mapping is very helpful for providing Virtual Reality and Augmented Reality for surgeons or even surgical robots. In this paper, we propose MIS-SLAM: a complete real-time large scale dense deformable SLAM system with stereoscope in Minimal Invasive Surgery based on heterogeneous computing by making full use of CPU and GPU. Idled CPU is used to perform ORB- SLAM for providing robust global pose. Strategies are taken to integrate modules from CPU and GPU. We solved the key problem raised in previous work, that is, fast movement of scope and blurry images make the scope tracking fail. Benefiting from improved localization, MIS-SLAM can achieve large scale scope localizing and dense mapping in real-time. It transforms and deforms current model and incrementally fuses new observation while keeping vivid texture. In-vivo experiments conducted on publicly available datasets presented in the form of videos demonstrate the feasibility and practicality of MIS-SLAM for potential clinical purpose.

研究动机与目标

• 解决微创手术中因快速移动和图像模糊导致的内窥镜跟踪不稳定问题。
• 开发一种实时、大规模密集形变 SLAM 系统，实现软组织的高精度 3D 重建。
• 将基于 CPU 的 ORB-SLAM 全局位姿估计与基于 GPU 的密集映射相结合，以提升系统鲁棒性与性能。
• 通过实时、高保真的组织建模，推动 AR/VR 在临床手术中的实际应用。

提出的方法

• 采用异构计算架构，由 CPU 运行改进的 ORB-SLAM 以实现鲁棒的全局位姿估计与特征跟踪。
• 将 ORB 特征与全局位姿从 CPU 传输至 GPU 全局内存，与基于 GPU 的密集重建结果进行融合。
• 采用 GPU 加速的深度估计、非刚性配准与基于新型点云管理策略的增量式融合，以降低内存占用并提升性能。
• 基于嵌入式形变节点构建的变形场，对立体图像对中的组织形变进行建模。
• 使用先进后出（first-in-last-out）栈数据结构优先处理 GPU 上的最新数据，确保在 GPU 延迟存在的情况下仍能实现实时处理。
• 利用 CUDA 在 GPU 上直接可视化重建的 3D 模型，最大限度减少数据传输开销。

实验结果

研究问题

• RQ1 异构 CPU-GPU 架构是否能在快速相机运动和图像模糊的情况下实现实时密集形变 SLAM？
• RQ2 如何有效整合 ORB-SLAM 的鲁棒全局位姿估计与基于 GPU 的密集重建，以提升系统稳定性？
• RQ3 何种融合策略可在大规模、长时间的软组织重建过程中保持高精度与低内存占用？
• RQ4 全局位姿初始化在动态、非刚性手术环境中对反投影精度有何影响？
• RQ5 该系统是否能实现实时可视化与重建，且精度达到临床可接受水平？

主要发现

• 在单台台式机上使用 NVIDIA GeForce GTX TITAN X，MIS-SLAM 实现了每帧约 0.07 秒的实时处理速度。
• 系统表现出亚毫米级精度，当使用位姿初始化时，平均反投影误差分别为 0.41 mm（心脏）、0.66 mm（肝脏）和 0.62 mm（右肾）。
• 未使用位姿初始化时，平均误差分别上升至 0.46 mm、0.68 mm 和 0.82 mm，证实了初始化对精度的关键作用。
• 在 Hamlyn 幻影数据集上的离体实验显示，平均精度分别为 0.28 mm 和 0.35 mm，验证了系统在受控环境下的高精度。
• 系统成功处理了大规模重建任务，并在光照差异、纹理混合问题和运动模糊等挑战下仍保持良好的视觉质量。
• 采用点云管理策略显著降低了内存使用量，相比传统的 TSDF 融合方法，显著提升了可扩展性。