[논문 리뷰] M2DGR: A Multi-sensor and Multi-scenario SLAM Dataset for Ground Robots

Jie Yin, Ang Li외 3명|arXiv (Cornell University)|2021. 12. 19.

Robotics and Sensor-Based Localization인용 수 9

한 줄 요약

M2DGR는 지상 로봇을 위한 대규모, 다중 센서, 다중 시나리오 SLAM 데이터셋으로, 12개의 센서(어항 렌즈, 하늘을 향한, 이벤트, 적외선, 라이다, 자이로스코프, GNSS 포함)에서 동기화된 데이터를 포함한 36개의 시퀀스(1TB)를 제공한다. 이 데이터셋은 저조도, 리프트 이동, 실외-실내 전환과 같은 실제 환경 도전 과제에서 최신 SLAM 시스템의 성능 저하를 드러내며, 현재 알고리즘의 핵심적 격차를 보여준다.

ABSTRACT

We introduce M2DGR: a novel large-scale dataset collected by a ground robot with a full sensor-suite including six fish-eye and one sky-pointing RGB cameras, an infrared camera, an event camera, a Visual-Inertial Sensor (VI-sensor), an inertial measurement unit (IMU), a LiDAR, a consumer-grade Global Navigation Satellite System (GNSS) receiver and a GNSS-IMU navigation system with real-time kinematic (RTK) signals. All those sensors were well-calibrated and synchronized, and their data were recorded simultaneously. The ground truth trajectories were obtained by the motion capture device, a laser 3D tracker, and an RTK receiver. The dataset comprises 36 sequences (about 1TB) captured in diverse scenarios including both indoor and outdoor environments. We evaluate state-of-the-art SLAM algorithms on M2DGR. Results show that existing solutions perform poorly in some scenarios. For the benefit of the research community, we make the dataset and tools public. The webpage of our project is https://github.com/SJTU-ViSYS/M2DGR.

연구 동기 및 목표

• 복잡한 실내 및 실외 환경에서 운영되는 지상 로봇을 위한 종합적이고 대규모인 SLAM 데이터셋의 부족을 해결하기 위해.
• 서비스 및 물류 로봇이 흔히 겪는 실제적인 도전 과제—리프트 진입, 어두운 환경 이동, 실외-실내 전환—등을 포함한 현실적인 어려운 시나리오를 캡처하기 위해.
• 정밀하게 캘리브레이션된 다중 센서 데이터를 동기화하여, 고도로 장착된 지상 로봇을 통해 최신 SLAM 알고리즘의 실용적 조건 하에서의 성능을 평가하기 위해.
• 기존의 시각 및 라이다 기반 SLAM 시스템이 실제 실패 케이스에서 어떻게 제한되는지 폭 드러내어 향후 알고리즘 개발을 이끌기 위해.
• 정확한 비교를 가능하게 하고, 강력한 로봇 위치 추정 및 맵핑 기술의 혁신을 이끄는 다중 센서 SLAM 연구를 위한 벤치마크를 확립하기 위해.

제안 방법

• 데이터셋은 어항 렌즈 카메라 6대, 하늘을 향한 RGB 카메라 1대, 정면 향한 핀홀 카메라, 이벤트 카메라, 적외선 카메라, 32빔 라이다, 자이로스코프, 이중 GNSS 수신기(RTK 포함)를 장착한 지상 로봇을 사용해 수집되었다.
• 모든 센서는 정밀하게 캘리브레이션되었으며, 시간 동기화되어 있어 다중 모odal 데이터 정렬을 보장하고 통합 처리를 가능하게 하였다.
• 지상 진동 경로는 운동 추적 시스템, 레이저 3D 트레이서, RTK GNSS 수신기를 통해 확보되어 고정밀 기준 자세를 제공하였다.
• 다양한 환경(복도, 복도, 리프트, 도로, 실외-실내 전환 구간 등)에서 36개의 시퀀스를 포함하며, 저조도 및 동적 운동과 같은 도전적인 조건을 수반한다.
• 표준 평가 지표인 ATE 및 APE를 사용하여 ORB-SLAM3, LIO-SAM, VINS-Mono, LVI-SAM 등 최신 SLAM 시스템을 평가하는 포괄적인 벤치마크를 수행하였다.
• 리프트 전환, 어둠짐, 급격한 운동과 같은 실패 케이스에 초점을 맞춰, 시스템의 내구성과 드리프트에 대한 정성적 및 정량적 분석을 수행하였다.

Figure 1: Our dataset for ground robots was captured by a rich suite of sensors within various scenarios. Some sensory data are visualized.

실험 결과

연구 질문

• RQ1 저조도 환경(어두운 복도 또는 야간 도로 등)에서 최신 시각 및 라이다 기반 SLAM 시스템은 지상 로봇의 실세계 시나리오에서 어떻게 성능을 발휘하는가?
• RQ2 로봇이 리프트에 진입하고 나올 때, 시각 및 라이다 센서가 환경을 정적이라고 인식하는 상황에서 기존 SLAM 시스템은 얼마나 정확성과 내구성을 유지할 수 있는가?
• RQ3 GNSS 신호가 둔감하거나 사라지는 상황에서 실외에서 실내로의 전환은 SLAM 시스템에 어떻게 영향을 미치는가?
• RQ4 다중 카메라 시각 SLAM 시스템은 고도로 왜곡된 어항 렌즈 이미지를 처리할 때 어떤 실패 모드를 보이는가?
• RQ5 이벤트 카메라, 열화상 적외선, RTK-GNSS와 같은 보완 센서의 통합은 어떤 도전적인 조건에서 SLAM의 내구성을 어떻게 향상시키는가?

주요 결과

• ORB-SLAM3는 적응형 히스토ограм 등화를 적용한 후에도 Roomdark06 및 Street07와 같은 저조도 환경에서 충분한 특징을 추출하지 못했으며, 이는 텍스처 부족과 먼 밝은 물체에 대한 의존성 때문이었다.
• 열화상 적외선 카메라는 어두운 환경에서 내구성을 향상시켰지만, 평평한 커튼과 같이 텍스처가 없는 물체를 탐지하지 못해 RGB 카메라에 비해 일반적인 우월성이 없음을 보여주었다.
• 시험된 모든 SLAM 시스템이 리프트 전환(예: lift04) 동안 전체 경로를 추적하거나 매핑하지 못했으며, LIO-SAM은 자이로스코프-라이다 오도메트리 불일치로 심한 드리프트를 보였다.
• 실외-실내 전환(예: Door01)에서는 GNSS가 가용한 상태에서도 시각 SLAM 시스템이 큰 ATE 오차를 보였다. 이는 문 근처에서 GNSS 신호가 떨어지고 실내 위치 추정이 실패했기 때문이다.
• Street07에서의 급격한 동적 운동(빠른 회전 및 속도 변화)은 시각 및 라이다 SLAM 시스템 양쪽 모두에서 실패를 유발했으며, 모든 테스트 알고리즘에서 높은 ATE 오차가 발생했다.
• 다중 카메라 시각 SLAM(Multicol-SLAM)은 어항 렌즈 이미지의 고도의 왜곡으로 인한 잘못된 특징 매칭으로 거의 모든 시퀀스에서 실패했으며, 이는 비핀홀 광학을 사용하는 다중 카메라 SLAM의 도전 과제를 부각시켰다.

Figure 2: Our ground robot for data collection. (a) Side view of the robot. (b) Sensors on the top layer. (c) Sensors on the middle layer.