[논문 리뷰] MIS-SLAM: Real-time Large Scale Dense Deformable SLAM System in Minimal Invasive Surgery Based on Heterogeneous Computing

Jingwei Song, Jun Wang외 3명|arXiv (Cornell University)|2018. 03. 06.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 3

한 줄 요약

MIS-SLAM은 CPU-GPU 이종 컴퓨팅을 활용하여 최소 침습 수술을 위한 실시간, 대규모 밀도 높은 비정상형 SLAM 시스템을 제안한다. CPU에서 실행되는 ORB-SLAM을 통해 강력한 전역 자세 추정을 수행하고 GPU 가속 밀도 재구성 및 융합을 통합함으로써, 빠른 카메라 운동과 이미지 흐림에도 불구하고 실시간으로 정확한 부드러운 조직의 3차원 맵핑을 달성한다. 이는 하위 밀리미터 정확도로 살아있는 데이터셋에서의 실현 가능성을 입증한다.

ABSTRACT

Real-time simultaneously localization and dense mapping is very helpful for providing Virtual Reality and Augmented Reality for surgeons or even surgical robots. In this paper, we propose MIS-SLAM: a complete real-time large scale dense deformable SLAM system with stereoscope in Minimal Invasive Surgery based on heterogeneous computing by making full use of CPU and GPU. Idled CPU is used to perform ORB- SLAM for providing robust global pose. Strategies are taken to integrate modules from CPU and GPU. We solved the key problem raised in previous work, that is, fast movement of scope and blurry images make the scope tracking fail. Benefiting from improved localization, MIS-SLAM can achieve large scale scope localizing and dense mapping in real-time. It transforms and deforms current model and incrementally fuses new observation while keeping vivid texture. In-vivo experiments conducted on publicly available datasets presented in the form of videos demonstrate the feasibility and practicality of MIS-SLAM for potential clinical purpose.

연구 동기 및 목표

• 최소 침습 수술 중 빠른 움직임과 이미지 흐림으로 인한 내시경 추적의 불안정성을 해결하기 위해.
• 부드러운 조직의 정확한 3차원 재구성을 가능하게 하는 실시간, 대규모 밀도 높은 비정상형 SLAM 시스템을 개발하기 위해.
• CPU 기반 ORB-SLAM을 통해 전역 자세 추정을 수행하고 GPU 가속 밀도 맵핑을 융합하여 시스템의 강성과 성능을 향상시키기 위해.
• 실시간 고해상도 조직 모델링을 통해 수술 분야에서의 AR/VR 실용적 응용을 가능하게 하기 위해.

제안 방법

• 강력한 전역 자세 추정 및 기능 추적을 위해 개선된 ORB-SLAM을 CPU에서 실행하는 이종 컴퓨팅 아키텍처를 활용한다.
• ORB 기능과 전역 자세를 CPU에서 GPU의 전역 메모리로 전송하여 GPU 기반 밀도 재구성와 융합한다.
• 새로운 포인트 클라우드 관리 전략을 사용하여 GPU 가속 깊이 추정, 비정상적 정렬 및 점진적 융합을 수행함으로써 메모리 사용량을 감소시키고 성능을 향상시킨다.
• 스테레오 영상 쌍에서 유도된 임bedded 변형 노드 기반의 워핑 필드를 사용하여 조직의 변형을 모델링한다.
• GPU 지연을 고려하여 GPU에 최신 데이터를 우선 처리하는 First-in-Last-out 스택 데이터 구조를 적용하여 실시간 처리를 보장한다.
• CUDA를 사용하여 GPU에서 직접 3차원 모델을 시각화함으로써 데이터 전송 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 빠른 카메라 운동과 이미지 흐림 조건에서도 이종 CPU-GPU 아키텍처가 최소 침습 수술에서 실시간 밀도 높은 비정상형 SLAM을 가능하게 할 수 있는가?
• RQ2 ORB-SLAM의 강력한 전역 자세 추정 기능을 GPU 가속 밀도 재구성과 효과적으로 융합하여 시스템의 안정성을 향상시킬 수 있는가?
• RQ3 대규모, 장시간 소프트 텍스처 재구성 과정에서 높은 정확도와 낮은 메모리 사용량을 유지할 수 있는 융합 전략은 무엇인가?
• RQ4 비정상적이고 동적인 수술 환경에서 전역 자세 초기화가 역투영 정확도에 미치는 영향은 무엇인가?
• RQ5 시스템은 임상적으로 허용 가능한 정확도로 실시간으로 변형 가능한 조직의 시각화 및 재구성을 달성할 수 있는가?

주요 결과

• 단일 데스크톱에서 NVIDIA GeForce GTX TITAN X를 사용하여 프레임당 약 0.07초의 실시간 처리 성능을 달성한다.
• 시스템은 하위 밀리미터 정확도를 보이며, 자세 초기화를 사용할 경우 평균 역투영 오차가 심장(0.41 mm), 간(0.66 mm), 오른쪽 신장(0.62 mm)에서 각각 측정된다.
• 자세 초기화 없이 사용할 경우 평균 오차는 각각 0.46 mm, 0.68 mm, 0.82 mm로 증가하여 초기화의 정확도 확보에 중요한 영향을 미친다.
• Hamlyn 프리젠테이션 펌프 데이터셋을 활용한 외부 조직 실험에서 평균 정확도는 0.28 mm 및 0.35 mm로 측정되어 시스템의 정밀도를 제어 조건에서 검증한다.
• 조명 차이, 텍스처 혼합 문제, 운동 블러 등의 과제에도 불구하고 대규모 재구성과 시각적 품질을 유지하는 데 성공한다.
• 기존의 TSDF 기반 융합 대비 포인트 클라우드 관리 전략의 적용으로 메모리 사용량이 크게 감소하여 확장성 향상에 기여한다.