[논문 리뷰] DF-SLAM: A Deep-Learning Enhanced Visual SLAM System based on Deep Local Features

Rong Kang, Jieqi Shi외 3명|arXiv (Cornell University)|2019. 01. 22.

Robotics and Sensor-Based Localization참고 문헌 53인용 수 33

한 줄 요약

DF-SLAM은 손으로 설계된 로컬 피처를 얕은 네트워크를 통해 학습된 심층 디스크립터로 대체하여, 도전적인 환경에서 실시간 SLAM의 강건성과 효율성을 향상시키며 실현한다.

ABSTRACT

As the foundation of driverless vehicle and intelligent robots, Simultaneous Localization and Mapping(SLAM) has attracted much attention these days. However, non-geometric modules of traditional SLAM algorithms are limited by data association tasks and have become a bottleneck preventing the development of SLAM. To deal with such problems, many researchers seek to Deep Learning for help. But most of these studies are limited to virtual datasets or specific environments, and even sacrifice efficiency for accuracy. Thus, they are not practical enough. We propose DF-SLAM system that uses deep local feature descriptors obtained by the neural network as a substitute for traditional hand-made features. Experimental results demonstrate its improvements in efficiency and stability. DF-SLAM outperforms popular traditional SLAM systems in various scenes, including challenging scenes with intense illumination changes. Its versatility and mobility fit well into the need for exploring new environments. Since we adopt a shallow network to extract local descriptors and remain others the same as original SLAM systems, our DF-SLAM can still run in real-time on GPU.

연구 동기 및 목표

• 비정형적으로 처리되는 SLAM 모듈을 학습된 로컬 피처로 대체하여 데이터 연관성과 강인성을 향상시키려는 동기를 부여한다.
• 얕은 신경망 디스크립터가 전통적 피처를 대체하되 실시간 성능을 저하시키지 않음을 입증한다.
• DF-SLAM이 전통적 SLAM 시스템과 비교하여 다양한 데이터 셋에서 더 높은 효율성과 안정성을 달성함을 보여준다.

제안 방법

• 키 포인트 패치에 대해 128-D L2 정규화 로컬 디스크립터를 생성하는 얕은 TFeat 기반 트리플렛 네트워크를 사용한다.
• 표준 SLAM 파이프라인에서 전통적 디스크립터(예: ORB, SIFT)를 학습된 심층 디스크립터로 대체한다.
• DF-Descriptors로 학습된 Bag-of-Words 비주얼 보유고(DBoW)를 사용하여 프레임 검색 및 재로컬라이제이션/루프 클로저를 빠르게 수행한다.
• 비교 가능성과 효율성을 유지하기 위해 원래의 SLAM 파이프라인 구조(트래킹, 로컬 맵핑, 루프 클로징)를 유지한다.
• 디스크립터 추출기를 경량으로 유지하고 GPU 가속을 활용하여 실시간 성능을 확보한다.

실험 결과

연구 질문

• RQ1 학습된 로컬 피처 디스크립터가 실시간 성능 손실 없이 고전적 SLAM 파이프라인에서 수작업으로 만든 디스크립터를 대체할 수 있는가?
• RQ2 얕은 네트워크 기반 디스크립터가 SLAM에서 데이터 연관성, 조명/텍스처 변화에 대한 강인성, 루프 클로저 안정성을 개선하는가?
• RQ3 DF-SLAM 디스크립터를 사용할 때 위치 추정 정확도와 시스템 안정성은 다양한 데이터 셋에서 어떤 영향을 받는가?
• RQ4 어려운 조건(조명 변화, 저 텍스처)에서 그리고 루프 클로저가 있거나 없을 때 DF-SLAM 접근법은 전통적인 ORB-SLAM2와 어떻게 비교되는가?

주요 결과

• DF-SLAM은 GPU에서 10–15 fps로 실행되며 단일 프레임 디스크립터 추출 시간은 0.09 s(1200 키포인트)이다.
• 학습된 디스크립터는 HPatches 벤치마크에서 매칭, 검색, 검증 작업에서 전통 디스크립터보다 우수하다.
• EuRoC와 TUM 데이터셋 전반에 걸쳐 DF-SLAM은 루프가 없거나 도전적인 조명 및 모션 조건에서 특히 강인성과 안정성을 보여준다.
• DF-SLAM은 ORB-SLAM2에 비해 더 좋거나 동등한 정확도를 달성하고, 긴 루프가 드문 궤적에서도 Drift를 감소시키며 실시간 작동을 유지한다.
• 얕은 디스크립터 네트워크(두 개의 컨볼루션 층과 128-D 출력)와 Hard negative mining(HardTFeat_HD)은 기본 TFeat에 비해 매칭 성능을 개선한다.