[논문 리뷰] Segway DRIVE Benchmark: Place Recognition and SLAM Data Collected by A Fleet of Delivery Robots

Jianzhu Huai, Yusen Qin외 2명|arXiv (Cornell University)|2019. 07. 08.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 8

한 줄 요약

이 논문은 오피스 빌딩과 쇼핑몰과 같은 동적인 실내 환경에서 배송 로봇 페어를 통해 수집한 대규모 실세계 데이터셋인 Segway DRIVE 벤치마크를 소개한다. 저비용 센서와 고정밀 라이다를 갖춘 로봇은 동적인 보행자, 조도 변화, 평면 운동과 같은 도전적인 조건을 캡처하며, 정밀한 지도 제작과 정위치 추정 성능 평가에 적합한 새로운 성능 지표를 통해 SLAM 및 메트릭 장소 인식 방법의 엄격한 평가를 가능하게 한다. 이 지표들은 정위치 추정 빈도와 이방성 비율을 평가한다.

ABSTRACT

Visual place recognition and simultaneous localization and mapping (SLAM) have recently begun to be used in real-world autonomous navigation tasks like food delivery. Existing datasets for SLAM research are often not representative of in situ operations, leaving a gap between academic research and real-world deployment. In response, this paper presents the Segway DRIVE benchmark, a novel and challenging dataset suite collected by a fleet of Segway delivery robots. Each robot is equipped with a global-shutter fisheye camera, a consumer-grade IMU synced to the camera on chip, two low-cost wheel encoders, and a removable high-precision lidar for generating reference solutions. As they routinely carry out tasks in office buildings and shopping malls while collecting data, the dataset spanning a year is characterized by planar motions, moving pedestrians in scenes, and changing environment and lighting. Such factors typically pose severe challenges and may lead to failures for SLAM algorithms. Moreover, several metrics are proposed to evaluate metric place recognition algorithms. With these metrics, sample SLAM and metric place recognition methods were evaluated on this benchmark. The first release of our benchmark has hundreds of sequences, covering more than 50 km of indoor floors. More data will be added as the robot fleet continues to operate in real life. The benchmark is available at http://drive.segwayrobotics.com/#/dataset/download.

연구 동기 및 목표

• 학술적 SLAM/연구용 벤치마크와 실제 운영 조건 사이의 격차를 해소하기 위해 실제 운영 조건을 반영한 데이터셋을 제공함으로써.
• 동적인 장애물, 조도 변화, 평면 운동과 같은 현실적인 과제 하에서 대규모 장기 데이터셋을 수집함으로써.
• 메트릭 장소 인식 평가를 위한 새로운 지표를 제안하고 검증함으로써, 정위치 추정 빈도와 이방성 비율에 중점을 둠으로써.
• 고정밀 라이다에서 유도된 지상 진실 자세를 사용하여 SLAM 및 장소 인식 알고리즘의 재현 가능한 벤치마크를 가능하게 함으로써.
• 연구자 커뮤니티의 지속적 연구를 지원하기 위해 데이터셋과 평가 도구를 온라인으로 공개함으로써.

제안 방법

• Segway 배송 로봇 페어를 사용하여 데이터를 수집하였으며, 이는 RealSense 시각-자이로스코픽 센서, 두 개의 휠 인코더, 그리고 지상 진실 자세 생성을 위한 분리 가능한 Hokuyo 2D 라이다를 탑재하였다.
• 각 로봇은 SLAM 지도 제작을 위한 맵핑 시퀀스와 일년간 동일한 노선에서 반복 정위치 추정 시퀀스를 기록하여 장기적인 환경 변화를 캡처하였다.
• 지상 진실 자세는 라이다 스캔을 하나의 기준 프레임에 융합하여 생성되었으며, 고정밀 궤적 복원을 보장하였다.
• 벤치마크는 다섯 개의 서로 다른 장소에서 50km 이상의 실내 주행을 커버하는 수백 개의 시퀀스를 포함한다.
• 메트릭 장소 인식 평가를 위한 새로운 평가 지표가 도입되었으며, 맵핑 시퀀스 기반으로 PRF(장소 인식 빈도)와 이방성 비율이 포함된다.
• 평가 스크립트와 도구는 온라인으로 공개되어 SLAM 및 장소 인식 방법의 표준화된 벤치마크 평가를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 동적인 보행자와 조도 변화와 같은 실세계 조건에서 최신 SLAM 및 메트릭 장소 인식 방법의 성능은 어떠한가?
• RQ2 기존의 SLAM 알고리즘이 시각-자이로스코픽 시스템에서 평면 운동과 관측 불가 상태에서 얼마나 높은 수준으로 실패하거나 성능이 저하되는가?
• RQ3 제안된 지표인 PRF와 이방성 비율은 장기적이고 반복적인 주행에서 시각적 정위치 추정의 신뢰성과 일관성을 효과적으로 측정할 수 있는가?
• RQ4 수리나 시간대에 따른 조명 변화와 같은 환경 변화는 장소 인식 및 SLAM 시스템의 강건성에 어떤 영향을 미치는가?
• RQ5 고정밀 지상 진실 자세를 갖춘 대규모 장기 실세계 벤치마크에서 메트릭 장소 인식 방법의 성능은 어떠한가?

주요 결과

• Segway DRIVE 벤치마크는 일년 동안 다섯 개의 실내 장소에서 수집된 100개 이상의 시퀀스를 포함하며, 50km 이상의 주행을 커버한다.
• 벤치마크는 동적인 보행자(예: 한 시퀀스에서 624회 재정위치 추정), 조도 변화, 구조적 변경과 같은 중요한 실세계 과제를 캡처한다.
• 제안된 PRF 지표는 정위치 추정 빈도가 크게 다양함을 드러내었으며, 일부 시퀀스는 1미터당 0.009회의 정위치 추정 빈도를 기록하여 높은 실패율을 나타냈다(예: 2018-11-22_17-33-32).
• 이방성 비율은 100미터당 0에서 6.5까지 변동했으며, 가장 높은 비율인 6.5는 시퀀스 2018-12-27_15-46-23에서 관찰되어 강건한 정위치 추정의 어려움을 강조한다.
• 벤치마크를 활용한 평가 결과, 심지어 최신 기술도 동적인 콘텐츠가 많은 시퀀스와 환경 변화가 있는 상황에서 일관성 유지에 어려움을 겪는 것으로 나타났다.
• 벤치마크는 기존의 SLAM 지표만으로는 장기적 정위치 추정 신뢰성을 충분히 반영할 수 없음을 입증하였으며, 이는 제안된 빈도 및 이방성 인식 지표의 필요성을 뒷받침한다.