[논문 리뷰] Magnetic-Visual Sensor Fusion based Medical SLAM for Endoscopic Capsule Robot

Mehmet Turan, Yasin Almalıoğlu외 4명|arXiv (Cornell University)|2017. 05. 17.

Gastrointestinal Bleeding Diagnosis and Treatment참고 문헌 29인용 수 9

한 줄 요약

이 논문은 입자 필터링과 순환 신경망을 사용하여 자기장 및 시각 센서를 융합함으로써 내시경 캡슐 로봇를 위한 실시간, 고밀도, 비강성 SLAM 시스템을 제안한다. 다양한 궤적에서 이식 전 돼지 위에서 시험한 결과, 국소화 오차와 표면 재구성 오차가 2cm 이내로 하위 수준을 기록하였으며, 운동 왜곡과 낮은 무늬 조건에서도 강건함을 입증하였다.

ABSTRACT

A reliable, real-time simultaneous localization and mapping (SLAM) method is crucial for the navigation of actively controlled capsule endoscopy robots. These robots are an emerging, minimally invasive diagnostic and therapeutic technology for use in the gastrointestinal (GI) tract. In this study, we propose a dense, non-rigidly deformable, and real-time map fusion approach for actively controlled endoscopic capsule robot applications. The method combines magnetic and vision based localization, and makes use of frame-to-model fusion and model-to-model loop closure. The performance of the method is demonstrated using an ex-vivo porcine stomach model. Across four trajectories of varying speed and complexity, and across three cameras, the root mean square localization errors range from 0.42 to 1.92 cm, and the root mean square surface reconstruction errors range from 1.23 to 2.39 cm.

연구 동기 및 목표

• 정확하고 실시간적인 국소화 및 3차원 맵핑이 필요한 활성 제어 캡슐 내시복을 향상된 진단 및 치료 내시경을 위해 개선하기 위한 필요성 해결.
• 낮은 무늬, 반사성 또는 노이즈가 많은 내시경 환경에서 시각 중심 SLAM의 한계를 극복하기 위해 자기장 국소화 통합.
• Surfel 기반 모델링을 사용하여 부드럽고 변형 가능한 소화기 조직의 고밀도 비강성 3차원 표면 재구성 가능.
• 입자 필터 기반 센서 융합 및 운동 모델 추정을 통해 센서 장애 및 동적 장기 운동에 대한 강건성 확보.
• 다양한 운동 조건에서 실제적인 이식 전 돼지 위 모델에서 시스템 성능 입증.

제안 방법

• 정확한 센서 정렬을 위해 3D 자기장 홀 센서 어레이와 캡슐의 RGB 카메라 간 오프라인 상호 센서 캘리브레이션 수행.
• 외부 자기장 측정 기반 자기장 국소화 시스템을 이용해 5-DoF 자세 추정.
• 시각 데이터와 Surfel 기반 3차원 모델 매칭을 이용한 프레임-모델 간 광학-기하 최적화를 통한 6-DoF 자세 추정.
• 운동 모델 예측을 위한 순환 신경망을 갖춘 백프로파게이션 기반 입자 필터를 사용해 자기장 및 시각 자세 추정 융합.
• 입자 필터링과 그래프 기반 방정식에서 유도된 변형 제약 조건을 이용한 비강성 프레임-모델 정렬 적용.
• 활성 및 비활성 모델 영역 간 공간적 교차점을 탐지하고 비강성 융합을 수행함으로써 모델-모델 루프 클로징 구현.

실험 결과

연구 질문

• RQ1 도전적인 내시경 조건에서 자기장-시각 센서 융합이 캡슐 내시경 로봇의 국소화 정확도를 향상시킬 수 있는가?
• RQ2 RNN 기반 운동 모델링을 갖춘 입자 필터는 자기장 및 시각 자세 추정 융합을 위한 실시간 SLAM에 얼마나 효과적인가?
• RQ3 Surfel 기반 고밀도 재구성은 소화기계의 비강성 및 변형 가능한 해부학을 어느 정도 정확하게 포착할 수 있는가?
• RQ4 다양한 운동 역학성과 복잡성에서 시스템의 국소화 및 표면 재구성 정확도는 어떻게 평가되는가?
• RQ5 제안된 루프 클로징 메커니즘은 비강성 및 연조직 환경에서 드리프트를 효과적으로 보정할 수 있는가?

주요 결과

• 다양한 속도와 복잡성의 네 개의 궤적에서 루트 평균 제곱(RMS) 국소화 오차는 0.42 cm에서 1.92 cm 사이로 측정되었다.
• 표면 재구성 오차는 1.23 cm에서 2.39 cm 사이였으며, 가장 높은 오차(2.39 cm)는 빠른 운동을 포함한 가장 복잡한 궤적에서 관찰되었다.
• 프레임 평균 처리 시간은 58 ms(최대 67 ms)였으며, 표준 데스크톱 PC에서 최악의 경우 15 Hz의 처리 주파수를 달성하였다.
• 베이지안 필터링 알고리즘이 모든 시험 기간 동안 지속적인 센서 기능을 확인하였으며, 센서 장애는 탐지되지 않았다.
• 운동 왜곡, 반사, 낮은 무늬 조건에서도 정확한 추적과 재구성을 유지하였다.
• 프레임-모델 융합과 모델-모델 루프 클로징의 조합이 비강성 환경에서 효과적인 드리프트 보정을 가능하게 하였다.