[논문 리뷰] Comparison of modern open-source visual SLAM approaches

Dinar Sharafutdinov, Mark Griguletskii외 6명|arXiv (Cornell University)|2021. 08. 03.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 ORB-SLAM3, VINS-Mono, OpenVSLAM, Kimera 등을 포함한 11종의 현대적 오픈소스 시각 SLAM 시스템을 종합적으로 비교 분석하여 다양한 데이터셋에서 국소화 정밀도, 계산 효율성, 내성 및 고장 내성 등을 평가한다. 주요 발견은 ORB-SLAM3가 지도 융합 및 장소 인식 기술의 발전으로 대부분의 환경에서 뛰어나고 일관된 성능을 보이며, 유일한 알고리즘이 전반적으로 우세하지는 않으며, 일관되지 않은 문서화 및 지원으로 인해 재현 가능성 문제가 심각한 도전 과제로 남아 있음을 시사한다.

ABSTRACT

SLAM is one of the most fundamental areas of research in robotics and computer vision. State of the art solutions has advanced significantly in terms of accuracy and stability. Unfortunately, not all the approaches are available as open-source solutions and free to use. The results of some of them are difficult to reproduce, and there is a lack of comparison on common datasets. In our work, we make a comparative analysis of state of the art open-source methods. We assess the algorithms based on accuracy, computational performance, robustness, and fault tolerance. Moreover, we present a comparison of datasets as well as an analysis of algorithms from a practical point of view. The findings of the work raise several crucial questions for SLAM researchers.

연구 동기 및 목표

• 국소화 정밀도, 계산 성능, 내성 및 고장 내성 측면에서 최신 오픈소스 시각 SLAM 알고리즘을 평가하고 비교하기.
• 구현 품질, 문서화 및 지원을 바탕으로 실세계 로봇 응용에 가장 실용적이고 신뢰할 수 있는 SLAM 솔루션을 특정하기.
• 강력한 이론적 결과에도 불구하고 안정적이고 잘 문서화된 유지보수 가능한 구현이 부족한 상황에서 SLAM 연구의 재현성 위기 문제를 부각하기.
• 환경 조건과 하드웨어 제약에 따라 연구자와 엔지니어가 적절한 SLAM 시스템을 선택하는 데 실용적인 권고안을 제공하기.
• 재현 가능성과 상호운용성을 향상시키기 위해 표준화된 데이터 포맷, 도커 컨테이너, ROS 워퍼를 도입할 것을 주장하기.

제안 방법

• 본 연구는 ORB-SLAM2/3, MapLab, LDSO, VINS-Mono, VINS-Fusion, OpenVSLAM, Basalt, Kimera, OpenVINS, DRE-SLAM을 포함한 11종의 오픈소스 시각 SLAM 프레임워크를 평가한다.
• 알고리즘은 EuRoC MAV, TUM VI, KITTI 등 다양한 벤치마크 데이터셋을 통해 평가되며, 실내, 실외, 동적 환경을 모두 포함한다.
• 평가 지표로는 국소화 정밀도(ATE 및 RPE), 계산 부하(FPS), 메모리 사용량, 이상치 및 센서 노이즈에 대한 내성 등이 포함된다.
• 저자들은 각 시스템의 실용적 사용성도 분석하며, 문서화, 예제 코드, 도커 및 ROS 지원, 파rameter 조정 용이성 등을 고려한다.
• 다양한 SLAM 과제(예: 동적 물체, 대규모 지ap 맵핑) 평가에 적합한 데이터셋의 적합성을 분석하기 위한 비교 분석을 수행한다.
• 연구는 일관된 데이터 포맷과 표준화된 참조값의 중요성을 강조하며, KITTI와 같이 타임스탬프 누락 시 cross-algorithm 비교에 장애가 발생함을 지적한다.

실험 결과

연구 질문

• RQ1 다양한 실세계 환경에서 어떤 오픈소스 시각 SLAM 시스템이 가장 높은 국소화 정밀도를 달성하는가?
• RQ2 계산 효율성, 메모리 사용량, 내성은 다양한 SLAM 아키텍처와 데이터셋 간에 어떻게 변화하는가?
• RQ3 문서화 품질, 도커/ROS 지원, 활발한 유지보수 수준이 SLAM 시스템의 재현 가능성과 실용적 보급에 얼마나 영향을 미치는가?
• RQ4 강력한 이론적 결과를 발표한 논문에도 불구하고 일부 고성능 SLAM 방법은 왜 여전히 재현되지 못하는가?
• RQ5 표준화된 데이터셋, 일관된 참조값 포맷, 컨테이너 기반 배포 방식이 시각 SLAM 연구의 재현성 향상에 어떤 역할을 하는가?

주요 결과

• ORB-SLAM3는 지도 융합 및 장소 인식 기술의 발전으로 여러 데이터셋에서 다른 시스템보다 뛰어난 국소화 정밀도를 지속적으로 확보한다.
• VINS-Mono와 VINS-Fusion은 IMU 데이터 융합 시 동적 환경 및 GPS 없음 환경에서도 뛰어난 성능을 보인다.
• OpenVSLAM은 강력한 성능과 사용자 友好的 설계에도 불구하고 ORB-SLAM2와의 코드 유사성 우려로 인해 중단되었다.
• 문서화 부족, 예제 부족, 유지보수 중단된 저장소로 인해 많은 고성능 SLAM 시스템이 실용적으로 사용 불가능하며, 이는 재현성 위기를 드러낸다.
• 특히 KITTI와 같은 데이터셋에서 타임스탬프 누락으로 인한 표준화된 데이터 포맷 부재는 알고리즘 간 비교 및 재현성에 심각한 장애를 초래한다.
• 일관된 소프트웨어 환경 확보 및 다양한 하드웨어 환경에서의 재현성 향상을 위해 도커 컨테이너 및 ROS 워퍼 사용을 강력히 권장한다.