[논문 리뷰] Towards Generation and Evaluation of Comprehensive Mapping Robot Datasets

Hongyu Chen, Xiting Zhao외 9명|arXiv (Cornell University)|2019. 05. 23.

Robotics and Sensor-Based Localization참고 문헌 20인용 수 7

한 줄 요약

이 논문은 외부 추적 시스템과 전문 3D 스캐너를 활용해 고정밀, 재현 가능한 데이터셋을 생성하기 위해 하드웨어 동기화된 매핑 로봇을 제안한다. SLAM 평가를 위한 세 가지 데이터셋(MARS-8, MARS-Loop, MARS-NoLoop)을 도입하여 2D, 3D, 시각 SLAM 알고리즘의 벤치마킹을 가능하게 하며, 결과적으로 레이저 기반 SLAM이 시각 SLAM보다 우수하고, 루프 클로징이 국소화 오차를 크게 감소시킴을 보여준다.

ABSTRACT

This paper presents a fully hardware synchronized mapping robot with support for a hardware synchronized external tracking system, for super-precise timing and localization. We also employ a professional, static 3D scanner for ground truth map collection. Three datasets are generated to evaluate the performance of mapping algorithms within a room and between rooms. Based on these datasets we generate maps and trajectory data, which is then fed into evaluation algorithms. The mapping and evaluation procedures are made in a very easily reproducible manner for maximum comparability. In the end we can draw a couple of conclusions about the tested SLAM algorithms.

연구 동기 및 목표

• 모의 실험 또는 궤적 전용 평가 외에 종합적이고 재현 가능한 SLAM 알고리즘 평가를 위한 데이터셋 부족 문제를 해결하기 위해.
• 하드웨어 동기화 센서와 전문 3D 스캐너를 활용해 실제 환경에서 정밀한 기준 지도 및 국소화 데이터를 생성하기 위해.
• 표준 ROS 기반 파ip라인과 공개 평가 도구를 활용해 SLAM 성능의 공정하고 재현 가능한 평가를 가능하게 하기 위해.
• 루프 클로징 유무를 고려한 제어된 조건에서 레이저 기반, 3D, 시각 SLAM 알고리즘의 성능을 비교하기 위해.
• 커뮤니티 재사용을 위해 데이터셋, ROS 런치 파일, 평가 스크립트를 공개함으로써 향후 벤치마킹의 기반을 마련하기 위해.

제안 방법

• Clearpath Jackal 로봇에 9대의 5MP 광각 카메라, 수평 방향 Velodyne LiDAR, 수직 방향 Velodyne LiDAR를 장착하고, 센서를 Vicon 외부 추적 시스템과 하드웨어 동기화하여 센티미터 수준의 국소화 정확도를 확보한다.
• 환경의 고해상도 정적 기준 3D 포인트 클라우드를 캡처하기 위해 Faro Focus 3D 스캐너를 사용하여 지도 평가를 위한 기준 자료를 확보한다.
• 세 가지 서로 다른 데이터셋을 수집: MARS-8(짧은 루프), MARS-Loop(긴 루프), MARS-NoLoop(긴 비루프 경로), 모든 데이터셋이 추적 시스템 커버리지가 겹치도록 설계하여 궤적 비교를 가능하게 한다.
• 로봇에서 수집한 원시 센서 데이터를 기반으로 표준 SLAM 소프트웨어(Hector Mapping, Cartographer, BLAM)를 사용해 2D 및 3D 지도를 생성하며, ROS 런치 파일을 통해 완전한 재현 가능성을 확보한다.
• Zhang과 Scaramuzza(2018)의 궤적 평가 소프트웨어를 사용해 정량적 평가를 수행하고, 추정된 궤적과 추적된 궤적 간의 절대 이동 오차를 계산한다.
• 지도 품질을 검증하기 위해 CloudCompare를 사용해 로봇이 생성한 포인트 클라우드를 Faro 기준 지도에 정렬하고, RMS 오차(90% 이론적 겹침 비율 기준 0.084 m)를 계산한다.

실험 결과

연구 질문

• RQ1 일관된 센서 노이즈와 운동 역학 조건을 가진 실제 환경에서, 루프 클로징은 2D 및 3D SLAM 시스템의 정확도에 어떤 영향을 미치는가?
• RQ2 고정밀 기준 지도 및 궤적을 기준으로 평가할 때, 레이저 기반 SLAM 알고리즘이 시각 SLAM 알고리즘보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 외부 추적 시스템과 전문 3D 스캐너를 갖춘 하드웨어 동기화 로봇 플랫폼이 재현 가능하고 고해상도의 데이터셋을 생성할 수 있는가?
• RQ4 다양한 루프 클로징 조건에서 Hector Mapping, Cartographer, BLAM, ORB2 등의 SLAM 알고리즘이 궤적 오차 및 지도 일관성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 로봇이 생성한 포인트 클라우드와 Faro 기준 지도 간의 지도 품질 차이가 정량적으로 얼마이며, 이는 각 데이터셋 간에 어떻게 달라지는가?

주요 결과

• Hector Mapping은 MARS-8 및 MARS-Loop 데이터셋에서 약 10cm의 이동 오차를 기록하여, 루프 클로징 조건에서 매우 높은 정확도를 보였다.
• 루프 클로징이 없는 MARS-NoLoop 데이터셋은 오차가 약 1미터로 크게 증가하여, 루프 클로징이 드리프트를 줄이는 데 핵심적인 역할을 함을 입증했다.
• Cartographer는 MARS-Loop 데이터셋에서 망가진 지도를 생성하여, 루프 클로징이 제대로 해결되지 않은 2D SLAM에서의 불안정성을 보여주었다.
• BLAM은 MARS-NoLoop에서 이중 커튼과 같은 구조적 특징을 정확하게 표현한 고품질 3D 지도를 생성했으며, Faro 기준 지도와 비교해 RMS 오차 0.084m를 기록했다.
• 단일 전방 카메라를 사용한 ORB2 기반 시각 SLAM은 평가된 모든 알고리즘 중에서 가장 높은 오차를 보였고, MARS-NoLoop 데이터셋에서 추적 실패가 발생했다.
• 레이저 기반 3D SLAM(BLAM)은 궤적 정확도와 지도 일관성 측면에서 시각 SLAM(ORB2)을 모두 압도하여, 복잡한 실내 환경에서 LiDAR의 강력한 내구성을 확인했다.