[论文解读] Augmented Reality for Depth Cues in Monocular Minimally Invasive Surgery

Long Chen, Wen Tang+3 more|arXiv (Cornell University)|Mar 1, 2017

Augmented Reality Applications参考文献 5被引用 8

一句话总结

本文提出了一种用于单目腹腔镜的实时3D表面重建与增强现实框架，采用ORB-SLAM进行相机追踪，并结合了异常值过滤、移动最小二乘法和泊松表面重建的稳健流程。在相机轨迹估计中实现了1.24 mm的均方根误差（RMSE），在表面重建中实现了4.32 mm的均方根偏差（RMSD），实现了深度准确的AR可视化，从而在微创手术中提升了深度感知能力。

ABSTRACT

One of the major challenges in Minimally Invasive Surgery (MIS) such as laparoscopy is the lack of depth perception. In recent years, laparoscopic scene tracking and surface reconstruction has been a focus of investigation to provide rich additional information to aid the surgical process and compensate for the depth perception issue. However, robust 3D surface reconstruction and augmented reality with depth perception on the reconstructed scene are yet to be reported. This paper presents our work in this area. First, we adopt a state-of-the-art visual simultaneous localization and mapping (SLAM) framework - ORB-SLAM - and extend the algorithm for use in MIS scenes for reliable endoscopic camera tracking and salient point mapping. We then develop a robust global 3D surface reconstruction frame- work based on the sparse point clouds extracted from the SLAM framework. Our approach is to combine an outlier removal filter within a Moving Least Squares smoothing algorithm and then employ Poisson surface reconstruction to obtain smooth surfaces from the unstructured sparse point cloud. Our proposed method has been quantitatively evaluated compared with ground-truth camera trajectories and the organ model surface we used to render the synthetic simulation videos. In vivo laparoscopic videos used in the tests have demonstrated the robustness and accuracy of our proposed framework on both camera tracking and surface reconstruction, illustrating the potential of our algorithm for depth augmentation and depth-corrected augmented reality in MIS with monocular endoscopes.

研究动机与目标

• 为解决因2D内镜视野导致的单目微创手术（MIS）中深度感知丧失这一关键挑战。
• 实现实时、准确的腹腔镜场景3D重建，从单目内镜视频中获取深度增强信息。
• 开发一种深度准确的增强现实系统，将3D解剖模型以相对于组织表面正确空间位置的方式叠加。
• 通过视觉SLAM实现全局场景理解，克服立体内镜的局限性，如成本高和视场受限。
• 在合成仿真视频和真实体内腹腔镜数据上验证该框架，以确保临床相关性。

提出的方法

• 通过扩展ORB-SLAM以处理内镜场景中的快速运动、亮度变化和软组织形变，实现其在单目MIS中的适配。
• 从ORB-SLAM的特征追踪和地图点估计中提取稀疏3D点云，用于场景重建。
• 应用异常值去除滤波器，随后采用移动最小二乘法（MLS）平滑处理，以去噪并规整稀疏点云。
• 采用泊松表面重建方法，从预处理后的点云生成平滑、封闭的3D表面。
• 使用简单的迭代 closest point（ICP）算法，将重建表面与真实3D模型对齐，以进行定量评估。
• 将相机位姿和3D表面数据集成到实时增强现实系统中，实现在内镜视频流上正确深度叠加3D标注和模型。

实验结果

研究问题

• RQ1 ORB-SLAM能否在具有挑战性的单目腹腔镜环境中有效适配，以实现可靠的实时相机追踪？
• RQ2 结合异常值过滤、MLS平滑和泊松重建的稳健流程，能否从MIS中稀疏且噪声较大的点云中生成高精度3D表面？
• RQ3 在几何精度方面，重建的3D表面与真实值的匹配程度如何？
• RQ4 能否利用重建的3D表面和相机位姿实现深度准确的增强现实，从而在单目MIS中提升深度感知？
• RQ5 与合成仿真相比，该框架在真实体内腹腔镜视频数据上的表现如何？

主要发现

• 基于ORB-SLAM的相机追踪在与真实相机轨迹对比时，实现了1.24 mm的均方根误差（RMSE），表明其高精度。
• 3D表面重建与真实3D模型相比，RMSD为4.32 mm，表明具有出色的几何保真度。
• 视觉对比和距离图显示，重建的3D表面与真实模型高度一致，大多数表面距离分布在-1.0 mm至4.0 mm之间。
• 该框架成功实现了实时深度准确的增强现实，虚拟3D标注在深度上正确地定位在组织表面之上。
• 系统在真实体内腹腔镜视频序列中表现出鲁棒性和高精度，验证了其在术中应用的潜力。
• 整个表面重建流程耗时600 ms，满足实时性能要求，适用于临床部署。