[论文解读] MITI: SLAM Benchmark for Laparoscopic Surgery

Regine Hartwig, Daniel Ostler+4 more|arXiv (Cornell University)|Feb 23, 2022

Robotics and Sensor-Based Localization被引用 5

一句话总结

该论文提出了 MITI，一个用于评估腹腔镜手术中视觉-惯性 SLAM 算法的新型基准数据集。该数据集提供同步的立体 RGB 视频、9-DOF IMU 数据以及红外跟踪作为真实值，并附带相机、IMU 和时间偏移的全面校准信息，使能够在微创手术环境中对 SLAM 系统进行精确评估。

ABSTRACT

We propose a new benchmark for evaluating stereoscopic visual-inertial computer vision algorithms (SLAM/ SfM/ 3D Reconstruction/ Visual-Inertial Odometry) for minimally invasive surgical (MIS) interventions in the abdomen. Our MITI Dataset available at [https://mediatum.ub.tum.de/1621941] provides all the necessary data by a complete recording of a handheld surgical intervention at Research Hospital Rechts der Isar of TUM. It contains multimodal sensor information from IMU, stereoscopic video, and infrared (IR) tracking as ground truth for evaluation. Furthermore, calibration for the stereoscope, accelerometer, magnetometer, the rigid transformations in the sensor setup, and time-offsets are available. We wisely chose a suitable intervention that contains very few cutting and tissue deformation and shows a full scan of the abdomen with a handheld camera such that it is ideal for testing SLAM algorithms. Intending to promote the progress of visual-inertial algorithms designed for MIS application, we hope that our clinical training dataset helps and enables researchers to enhance algorithms.

研究动机与目标

• 为评估微创手术（MIS）中的视觉-惯性 SLAM 提供标准化、具有临床相关性的数据集。
• 提供一个真实记录的、临床相关的数据集，完整记录腹部扫描过程，组织变形和切割极少。
• 实现在内窥镜环境中对 SLAM、SfM 和视觉-惯性里程计算法的精确基准测试。
• 提供包括相机、IMU 和时间偏移在内的全面校准数据，以支持多传感器融合。
• 推动可复现的研究和针对腹腔镜手术挑战的算法开发。

提出的方法

• 在慕尼黑工业大学（TUM）的右岸伊萨医院，于真实外科手术过程中，从手持式腹腔镜获取多模态传感器数据。
• 使用 3D 腹腔镜（Karl Storz Tipcam）以 59.9 Hz 的频率采集分辨率为 1080p 的立体 RGB 视频。
• 通过固定在腹腔镜手柄上的两块传感器板，以 220 Hz 的频率记录 9-DOF IMU 数据（陀螺仪、加速度计、磁力计）。
• 使用 NDI Polaris Vega 红外跟踪系统以 20 Hz 的频率为两个刚性目标（带有被动球体）提供真实值位姿。
• 使用标定板和带径向畸变校正的针孔模型对相机参数进行校准。
• 通过在已知重力和磁场条件下最小化加速度计和磁力计读数误差，完成 IMU 校准。
• 通过最小化视觉里程计、红外跟踪和 IMU 数据流之间的速度差异，校准传感器间的时间偏移。

实验结果

研究问题

• RQ1 如何构建一个标准化的基准数据集，以评估腹腔镜手术中的视觉-惯性 SLAM 算法？
• RQ2 在立体腹腔镜成像和惯性传感中，传感器校准能达到何种精度？
• RQ3 多模态传感器间的时间偏移在微创手术（MIS）中对 SLAM 系统性能有何影响？
• RQ4 数据集中缺乏组织形变在多大程度上使 SLAM 算法的可靠评估成为可能？
• RQ5 红外跟踪能否提供足够精确的真实值，以验证内窥镜环境中的视觉-惯性 SLAM？

主要发现

• MITI 数据集为腹腔镜手术中的视觉-惯性 SLAM 提供了一个完整且公开可用的基准，包含同步的立体视频、IMU 数据和红外跟踪。
• 相机校准通过最小二乘求解器成功校正了径向畸变，使用最高达六阶的多项式畸变模型。
• IMU 校准成功补偿了加速度计和磁力计的偏置与比例因子，使测量值与慕尼黑地区已知的重力（9.81 m/s²）和地磁场（48.6 µT）一致。
• 时间偏移校准显著减少了不同传感器模态之间的差异，优化后，视觉里程计、红外跟踪和 IMU 的角速度表现出高度一致。
• 该数据集完整记录了腹部扫描过程，组织交互极少，非常适合在真实但受控条件下测试 SLAM 算法。
• 数据集包含刚体变换和坐标系定义，支持精确的多传感器融合，并可在不同 SLAM 框架中实现可复现的评估。