[논문 리뷰] SD-DefSLAM: Semi-Direct Monocular SLAM for Deformable and Intracorporeal Scenes

Juan J. Gómez Rodríguez, José Lamarca외 3명|arXiv (Cornell University)|2020. 10. 19.

Robotics and Sensor-Based Localization참고 문헌 30인용 수 4

한 줄 요약

SD-DefSLAM은 고도로 변형 가능하고 내부 조직 환경을 대상으로 한 반직접적 단안 SLAM 시스템으로, 조명에 영향을 받지 않는 사진적 추적, CNN 기반 외과 기구 세그멘테이션, Bag-of-Words 재정렬 기반 재정렬 기능을 결합하였다. 이는 스케일 드리프트를 크게 감소시키고 DefSLAM 대비 재구성 정확도를 향상시켜, 극한의 변형과 낮은 무늬 조건에서 인간 신체 내부에서 안정적으로 SLAM을 수행하는 데 있어 최초의 시스템이다.

ABSTRACT

Conventional SLAM techniques strongly rely on scene rigidity to solve data association, ignoring dynamic parts of the scene. In this work we present Semi-Direct DefSLAM (SD-DefSLAM), a novel monocular deformable SLAM method able to map highly deforming environments, built on top of DefSLAM. To robustly solve data association in challenging deforming scenes, SD-DefSLAM combines direct and indirect methods: an enhanced illumination-invariant Lucas-Kanade tracker for data association, geometric Bundle Adjustment for pose and deformable map estimation, and bag-of-words based on feature descriptors for camera relocation. Dynamic objects are detected and segmented-out using a CNN trained for the specific application domain. We thoroughly evaluate our system in two public datasets. The mandala dataset is a SLAM benchmark with increasingly aggressive deformations. The Hamlyn dataset contains intracorporeal sequences that pose serious real-life challenges beyond deformation like weak texture, specular reflections, surgical tools and occlusions. Our results show that SD-DefSLAM outperforms DefSLAM in point tracking, reconstruction accuracy and scale drift thanks to the improvement in all the data association steps, being the first system able to robustly perform SLAM inside the human body.

연구 동기 및 목표

• 최소 침습 수술에서 관찰되는 극도로 변형 가능한 내부 조직 환경에서 기존 SLAM의 한계를 해결하기 위해.
• SLAM에서의 강성 가정을 초월하여 등급 변형 조건 하에서 정확한 데이터 연동 및 3차원 지ap 추정을 가능하게 하기 위해.
• 내 endoscopic 영상에서 흔히 발생하는 낮은 무늬, 반사, 가림, 동적 외과 기구에 대한 강건성을 향상시키기 위해.
• 재정렬 및 동적 물체 세그멘테이션을 통합하여 추적 실패를 처리하고 장기적인 일관성을 유지하기 위해.
• 직접 사진적 최적화와 간접적인 특징 기반 추적을 융합한 반직접적 접근을 통해 데이터 연동을 향상시키기 위해.

제안 방법

• 전 특징에 대해 조명에 영향을 받지 않는 Lucas-Kanade 광학 흐름을 사용하여 서브픽셀 정확도의 사진적 데이터 연동을 수행하며, 전역 이미지 정렬을 대체한다.
• 기하학적 백업 조정(Bundle Adjustment)을 적용하여 카메라 자세와 변형 가능한 3차원 지도를 동시에 최적화하여 재투영 오차와 사진적 오차를 최소화한다.
• 장기적인 데이터 연동 및 Bag-of-Words 재정렬을 위해 ORB 특징를 사용하여 완전한 카메라 가림 상황에서도 복구한다.
• 외과 기구 세그멘테이션에 훈련된 CNN을 통합하여 동적 물체를 마스킹하고 지도 오염을 방지한다.
• 프레임 간 특징 패치의 능동적 추적을 구현하여 매칭 단계에서 특징 추출에 의존하지 않도록 한다.
• 3차원 지도에서 등급 변형을 가정하며, 시간에 따라 변하는 지점 위치를 부드럽고 비강성 변형으로 모델링한다.

실험 결과

연구 질문

• RQ1 반직접 SLAM 시스템이 강성 SLAM이 실패하는 극도로 변형 가능하고 낮은 무늬 조건의 내부 조직 영상에서 안정적인 데이터 연동을 달성할 수 있는가?
• RQ2 특징 매칭 대비 전 특징 기반 조명에 영향을 받지 않는 사진적 추적은 변형 조건 하에서 추적 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 CNN 기반 외과 기구 세그멘테이션은 동적 물체가 많은 내 endoscopic 영상에서 SLAM 성능을 어느 정도 향상시키는가?
• RQ4 Bag-of-Words 및 ORB 기반 재정렬은 실시간 내 endoscopic 영상에서 완전한 가림 상황 후에도 추적을 복구할 수 있는가?
• RQ5 직접 사진적 최적화와 간접적 특징 추적의 융합이 비강성 환경에서 스케일 드리프트를 감소시키고 재구성 정확도를 향상시키는가?

주요 결과

• Mandala 및 Hamlyn 데이터셋의 모든 시퀀스에서 SD-DefSLAM은 DefSLAM 대비 유의미하게 낮은 스케일 드리프트와 더 낮은 RMSE를 달성하였다.
• Mandala3 시퀀스에서 SD-DefSLAM은 지도 점의 정확히 매칭된 비율을 DefSLAM 대비 두 배로 높여 데이터 연동의 강건성을 향상시켰다.
• 낮은 무늬와 뿌연 영상이 특징인 Hamlyn Dataset20에서, SD-DefSLAM은 서브픽셀 정확도의 사진적 추적 덕분에 뛰어난 성능 유지를 보였다.
• Sequence_heart 및 Sequence_organs에서 CNN 기반 기구 세그멘테이션 통합 덕분에 고도의 동적 물체 간섭 상황에서도 안정적인 처리가 가능했다.
• Dataset19 및 Dataset20에서 완전한 가림 또는 내 endoscope 제거 후에도 시스템이 성공적으로 재정렬을 수행하였다.
• 3차원 재구성 결과는 외과 기구에 의해 유도된 변형을 정확하게 모델링하고 있으며, 프레임 #315, #1010, #1030, #1055에서 Sequence_organs를 통해 시각화되었다.