[논문 리뷰] MITI: SLAM Benchmark for Laparoscopic Surgery

Regine Hartwig, Daniel Ostler외 4명|arXiv (Cornell University)|2022. 02. 23.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 복강경 수술 환경에서 시각-자이로스코픽 SLAM 알고리즘을 평가하기 위한 새로운 벤치마크 데이터셋인 MITI를 소개한다. 동기화된 스테레오 RGB 영상, 9-DOF 자이로스코프 데이터, 적외선 추적 데이터를 지상 진실로 제공하며, 카메라, 자이로스코프, 시간 오프셋에 대한 종합적인 교정 정보를 포함하여 최소 침습 수술 환경에서의 SLAM 시스템 정확도 평가를 가능하게 한다.

ABSTRACT

We propose a new benchmark for evaluating stereoscopic visual-inertial computer vision algorithms (SLAM/ SfM/ 3D Reconstruction/ Visual-Inertial Odometry) for minimally invasive surgical (MIS) interventions in the abdomen. Our MITI Dataset available at [https://mediatum.ub.tum.de/1621941] provides all the necessary data by a complete recording of a handheld surgical intervention at Research Hospital Rechts der Isar of TUM. It contains multimodal sensor information from IMU, stereoscopic video, and infrared (IR) tracking as ground truth for evaluation. Furthermore, calibration for the stereoscope, accelerometer, magnetometer, the rigid transformations in the sensor setup, and time-offsets are available. We wisely chose a suitable intervention that contains very few cutting and tissue deformation and shows a full scan of the abdomen with a handheld camera such that it is ideal for testing SLAM algorithms. Intending to promote the progress of visual-inertial algorithms designed for MIS application, we hope that our clinical training dataset helps and enables researchers to enhance algorithms.

연구 동기 및 목표

• 최소 침습 수술(MIS)에서 시각-자이로스코픽 SLAM을 평가하기 위한 표준화되고 임상적으로 관련성이 있는 데이터셋의 부족을 해결하기 위해.
• 최소 조직 변형과 절단이 수반되는 완전한 Abdominal 스캔을 기록한 현실적인 임상 데이터셋을 제공하기 위해.
• 내 endoscopic 환경에서 SLAM, SfM, 시각-자이로스코픽 오도메트리 알고리즘의 정확한 벤치마크 평가를 가능하게 하기 위해.
• 다중 센서 융합을 위한 카메라, 자이로스코프, 시간 오프셋을 포함한 종합적인 교정 데이터를 제공하기 위해.
• 복강경 수술의 과제에 맞춤형으로 설계된 재현 가능한 연구 및 알고리즘 개발을 촉진하기 위해.

제안 방법

• TUM의 Rechts der Isar 병원에서 실제 수술 개입 중에 수동으로 들고 있는 복강경에서 다중 모odal 센서 데이터를 확보하였다.
• 1080p 해상도의 3D 복강경(Karl Storz Tipcam)을 통해 59.9 Hz에서 스테레오 RGB 영상을 촬영하였다.
• 복강경 손잡이에 부착된 두 개의 센서 보드에서 220 Hz로 9-DOF 자이로스코프 데이터(자이로스코프, 가속도계, 자석계)를 기록하였다.
• 20 Hz에서 작동하는 NDI Polaris Vega 적외선 추적 시스템을 사용하여 두 개의 강체 타겟에 대한 지상 진실 자세를 제공하였다.
• 체커보드 패tern과 투영 모델을 사용하여 카메라 파라미터를 교정하였으며, 반사 왜곡 보정이 적용된 투영 모델을 사용하였다.
• 알고리즘의 가속도계 및 자석계 읽기 오차를 최소화하여 자이로스코프 교정을 수행하였으며, 알려진 중력 및 자기장 조건 하에서 수행되었다.
• 시각 오도메트리, 적외선, 자이로스코프 데이터 스트림 간의 속도 불일치를 최소화하여 센서 간 시간 오프셋을 교정하였다.

실험 결과

연구 질문

• RQ1 어떻게 복강경 수술에서 시각-자이로스코픽 SLAM 알고리즘을 평가하기 위한 표준화된 벤치마크 데이터셋을 구축할 수 있는가?
• RQ2 스테레오 복강경 영상 및 관성 측정에서 센서 교정의 정확도는 어느 정도 달성할 수 있는가?
• RQ3 다중 모달 센서 간 시간 오프셋이 최소 침습 수술(MIS) 환경에서 SLAM 시스템 성능에 미치는 영향은 어떠한가?
• RQ4 데이터셋에서 조직 변형이 거의 없음으로써 시각-자이로스코픽 SLAM 알고리즘의 신뢰성 있는 평가가 어느 정도 가능해지는가?
• RQ5 적외선 추적은 내시경 환경에서 시각-자이로스코픽 SLAM을 검증하기에 충분히 정확한 지상 진실을 제공할 수 있는가?

주요 결과

• MITI 데이터셋은 동기화된 스테레오 영상, 자이로스코프 데이터, 적외선 추적 데이터를 포함하여 복강경 수술에서의 시각-자이로스코픽 SLAM에 대한 완전하고 공개 가능한 벤치마크를 제공한다.
• 최소 제곱법 솔버를 사용하여 최대 6차 다항식 왜곡 모델을 적용하여 반사 왜곡을 정확하게 보정하였다.
• 자이로스코프 교정을 통해 가속도계 및 자석계의 오프셋과 스케일 요소를 성공적으로 보정하였으며, 뮌헨 지역의 알려진 중력(9.81 m/s²) 및 지구 자기장(48.6 µT)과 일치하는 측정값을 확보하였다.
• 시간 오프셋 교정을 통해 센서 모odal 간 불일치를 감소시켰으며, 교정 후 시각 오도메트리, 적외선, 자이로스코프의 각속도가 강력하게 일치함을 확인하였다.
• 최소 조직 상호작용을 동반한 완전한 복강 내 스캔을 촬영하여 실제적이지만 통제된 조건에서 SLAM 알고리즘 테스트에 이상적인 환경을 제공한다.
• 강체 변환과 좌표계 정의를 포함하여 다양한 SLAM 프레임워크 간 정밀한 다중 센서 융합과 재현 가능한 평가를 가능하게 한다.