[논문 리뷰] S3E: A Multi-Robot Multimodal Dataset for Collaborative SLAM

Dapeng Feng, Yu-Hua Qi외 6명|arXiv (Cornell University)|2022. 10. 25.

Robotics and Sensor-Based LocalizationEngineering인용 수 17

한 줄 요약

S3E는 12개의 다양한 실외 및 실내 시퀀스에서 LiDAR, 스테레오 카메라, IMU를 탑재한 세 대의 무인 지상 차량(UGV)을 통해 기록한 대규모 다중모달 데이터셋을 제공하며, 협업 SLAM 시스템의 평가를 가능하게 한다. 이 데이터셋은 실제 상호 로봇 루프 클로징 시나리오에서 작동하는 협업 SLAM 시스템의 성능 평가를 가능하게 하며, 현재 최고 수준의 방법들이 낮은 겹침 비율과 열악한 환경에서 여전히 어려움을 겪고 있음을 드러내며, 실제 다중 로봇 시스템에서의 강건성 향상이 절실한 필요성을 부각시킨다.

ABSTRACT

The burgeoning demand for collaborative robotic systems to execute complex tasks collectively has intensified the research community's focus on advancing simultaneous localization and mapping (SLAM) in a cooperative context. Despite this interest, the scalability and diversity of existing datasets for collaborative trajectories remain limited, especially in scenarios with constrained perspectives where the generalization capabilities of Collaborative SLAM (C-SLAM) are critical for the feasibility of multi-agent missions. Addressing this gap, we introduce S3E, an expansive multimodal dataset. Captured by a fleet of unmanned ground vehicles traversing four distinct collaborative trajectory paradigms, S3E encompasses 13 outdoor and 5 indoor sequences. These sequences feature meticulously synchronized and spatially calibrated data streams, including 360-degree LiDAR point cloud, high-resolution stereo imagery, high-frequency inertial measurement units (IMU), and Ultra-wideband (UWB) relative observations. Our dataset not only surpasses previous efforts in scale, scene diversity, and data intricacy but also provides a thorough analysis and benchmarks for both collaborative and individual SLAM methodologies. For access to the dataset and the latest information, please visit our repository at https://pengyu-team.github.io/S3E.

연구 동기 및 목표

• 협업 SLAM(C-SLAM)을 위한 대규모, 현실적인, 다중모달 데이터셋이 부족한 문제를 해결하여 체계적인 벤치마킹과 재현 가능성을 지원한다.
• 기존 데이터셋의 한계를 극복하기 위해 다양한 실내 및 실외 환경에서 장시간, 시간적으로 동기화되고 공간적으로 校정된 다중 에이전트의 데이터를 촬영한다.
• 다양한 공간적 및 시간적 겹침 수준에서 상호 로봇 루프 클로징 성능을 체계적으로 평가하기 위해 네 가지의 구분된 협업 트랙토리 패러다임을 설계한다.
• 정확한 상태 추정 정확도 평가를 가능하게 하기 위해 RTK GNSS와 동작 캡처 시스템을 활용해 지상 진실값 국소화를 제공한다.
• 다양한 센서 모달리티를 기반으로 최신 알고리즘을 사용하여 단일 에이전트 및 협업 SLAM의 기준 성능을 수립한다.

제안 방법

• 16빔 LiDAR, 스테레오 카메라, 9축 IMU, 이중 안테나 RTK GNSS를 탑재한 원격 제어식 무인 지상 차량(UGV) 3대의 팀을 운영하여 고정밀 국소화를 구현한다.
• 7개의 실외 및 5개의 실내 시퀀스를 포함한 총 12개의 시퀀스를 기록하였으며, 각 시퀀스는 200초 이상 지속되며 모든 센서에 대해 시간적 동기화와 공간적 校정이 완료되었다.
• 내부 및 외부 로봇 간 루프 클로징 기회를 유도하기 위해 네 가지의 협업 트랙토리 패러다임을 설계하였으며, 이는 동심원, 교차 곡선, 개방형 열악한 환경, 제한된 겹침이 있는 공방향 이동을 포함한다.
• GNSS가 가능한 영역에서는 이중 안테나 RTK GNSS를, 실내 시퀀스에는 동작 캡처 시스템을 사용하여 지상 진실값을 생성하여 센티미터 수준의 정확도를 확보하였다.
• 예측된 트랙토리와 지상 진실값 트랙토리를 정렬하기 위해 최소 제곱법을 사용한 유사성 변환 기반 ATE(Absolute Trajectory Error) 계산을 수행하여 트랙토리 정확도를 평가하였다.
• 다양한 센서 모달리티와 트랙토리 유형에서 최신의 협업 SLAM 및 단일 에이전트 SLAM 방법(예: LIO-SAM, DCL-SLAM, COVINS, DiSCo-SLAM, LVI-SAM, ORB-SLAM3)을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 상호 로봇 트랙토리 겹침 비율을 가진 현실적인 대규모, 다중모달, 장시간 지속되는 다중 로봇 시나리오에서 기존 협업 SLAM 방법의 성능은 어떠한가?
• RQ2 시각 또는 LiDAR 겹침이 제한된 어려운 환경에서 협업 SLAM은 단일 에이전트 SLAM에 비해 국소화 정확도와 강건성 면에서 얼마나 향상되는가?
• RQ3 상호 로봇 루프 클로징 빈도가 적거나 열악한 기하학적 구성에서 현재 C-SLAM 시스템의 주요 실패 원인은 무엇인가?
• RQ4 실제 구현에서 센서 모달리티(LiDAR, 시각, 관성)가 협업 SLAM의 성능과 신뢰성에 미치는 영향은 어떠한가?
• RQ5 특히 시간적 및 공간적 다양성이 있는 트랙토리 설계가 효과적인 상호 로봇 루프 클로징 및 백엔드 최적화를 위해 어떤 역할을 하는가?

주요 결과

• S3E 데이터셋은 총 12개의 시퀀스(실외 7개, 실내 5개)를 포함하며, 각 시퀀스의 평균 기록 시간이 유명한 EuRoC 데이터셋보다 4배 이상 길다.
• 특히 코너나 낮은 무늬 특징 환경에서 시각 특징이 손실되는 상황에서 장기 추적 성능을 고려할 때, LiDAR 기반 SLAM 방법이 시각 기반 방법보다 일관되게 뛰어난 성능을 보였다.
• DCL-SLAM은 단일 에이전트 버전인 LIO-SAM 대비 평균 ATE를 0.42 감소시켜 상호 로봇 루프 클로징 탐지로 인한 상당한 성능 향상을 입증하였다.
• Playground_1 시퀀스에서 단일 에이전트 LIO-SAM을 사용한 Alpha와 Bob는 코너에서 프레임 추적에 실패했지만, DCL-SLAM을 통해 협업을 수행함으로써 성공적으로 추적을 완료하였다. 이는 협업으로 인한 강건성 향상을 명확히 보여준다.
• Square_1 시퀀스에서 COVINS는 단일 에이전트 버전 대비 평균 ATE를 7.09 감소시켰으며, 협업 시 1.75 ATE를 기록하였다. 반면 ORB-SLAM3는 동일한 시나리오에서 추적에 실패하였다.
• 특히 공방향 이동으로 인해 겹침 비율이 낮은 상황에서 DCL-SLAM은 COVINS보다 더 효과적인 특징 매칭 및 루프 클로징 탐지로 인해 더 뛰어난 성능을 보였다.