[论文解读] Magnetic-Visual Sensor Fusion based Medical SLAM for Endoscopic Capsule Robot

Mehmet Turan, Yasin Almalıoğlu+4 more|arXiv (Cornell University)|May 17, 2017

Gastrointestinal Bleeding Diagnosis and Treatment参考文献 29被引用 9

一句话总结

该论文提出了一种用于内窥镜胶囊机器人的实时、密集、非刚性SLAM系统，通过粒子滤波和循环神经网络融合磁力与视觉传感。在不同轨迹的离体猪胃实验中，该方法实现了亚2厘米的定位和表面重建误差，表现出对运动模糊和低纹理环境的鲁棒性。

ABSTRACT

A reliable, real-time simultaneous localization and mapping (SLAM) method is crucial for the navigation of actively controlled capsule endoscopy robots. These robots are an emerging, minimally invasive diagnostic and therapeutic technology for use in the gastrointestinal (GI) tract. In this study, we propose a dense, non-rigidly deformable, and real-time map fusion approach for actively controlled endoscopic capsule robot applications. The method combines magnetic and vision based localization, and makes use of frame-to-model fusion and model-to-model loop closure. The performance of the method is demonstrated using an ex-vivo porcine stomach model. Across four trajectories of varying speed and complexity, and across three cameras, the root mean square localization errors range from 0.42 to 1.92 cm, and the root mean square surface reconstruction errors range from 1.23 to 2.39 cm.

研究动机与目标

• 解决主动控制胶囊内窥镜中对精确、实时定位和3D制图的需求，以改善诊断和治疗导航。
• 通过集成磁力定位，克服仅依赖视觉SLAM在低纹理、高光反射或噪声内窥镜环境中的局限性。
• 利用基于surfels的建模方法，实现对柔软、可变形胃肠道组织的密集、非刚性3D表面重建。
• 通过基于粒子滤波的传感器融合和运动模型估计，确保对传感器故障和动态器官运动的鲁棒性。
• 在不同运动条件下，于真实的离体猪胃模型中验证系统性能。

提出的方法

• 对3D磁性霍尔传感器阵列与胶囊的RGB相机进行离线传感器间标定，以实现精确的传感器对齐。
• 基于外部磁场测量，使用磁力定位系统估计5-DoF位姿。
• 通过视觉数据与基于surfels的3D模型匹配，采用帧到模型的光度-几何优化方法估计6-DoF位姿。
• 使用基于反向传播的粒子滤波器，结合循环神经网络进行运动模型预测，融合磁力和视觉位姿估计。
• 通过粒子滤波和基于图的方程推导的形变约束，执行非刚性帧到模型的配准。
• 通过检测活跃与非活跃模型区域之间的空间交集，并执行非刚性融合，实现模型到模型的回环闭合。

实验结果

研究问题

• RQ1 在具有挑战性的内窥镜条件下，磁力-视觉传感器融合是否能提升胶囊内窥镜机器人的定位精度？
• RQ2 基于RNN的运动建模粒子滤波器在实时SLAM中融合磁力与视觉位姿估计方面有多高效？
• RQ3 基于surfels的密集重建在捕捉胃肠道非刚性、可变形解剖结构方面能达到何种程度？
• RQ4 该系统在不同运动动力学和复杂性条件下的定位和表面重建精度表现如何？
• RQ5 所提出的回环闭合机制是否能有效校正非刚性、软组织环境中的漂移？

主要发现

• 在四种不同速度和复杂度的轨迹中，系统实现了0.42 cm至1.92 cm之间的均方根（RMS）定位误差。
• 表面重建误差范围为1.23 cm至2.39 cm，其中最复杂轨迹（涉及高速运动）的误差最高，达2.39 cm。
• 平均帧处理时间为58 ms（峰值67 ms），在标准台式计算机上实现了最差情况15 Hz的处理频率。
• 贝叶斯滤波算法在所有实验中均确认了传感器的持续功能，未检测到传感器故障。
• 即使在运动模糊、镜面反射和低纹理条件下，系统仍保持了准确的跟踪与重建。
• 帧到模型融合与模型到模型回环闭合的结合，有效实现了非刚性环境中的漂移校正。