[논문 리뷰] ALITA: A Large-scale Incremental Dataset for Long-term Autonomy

Peng Yin, Shiqi Zhao외 6명|arXiv (Cornell University)|2022. 05. 22.

Robotics and Sensor-Based Localization인용 수 8

한 줄 요약

ALITA는 도시 및 캠퍼스 환경의 LiDAR 및 옴니디렉셔널 카메라 데이터를 포함하는 대규모 장기 장소 인식 데이터셋으로, 동적인 환경 변화 하에서의 내구성을 평가하기 위해 설계되었다. 이 데이터셋은 도시 120km, 캠퍼스 50km의 궤적에서 정확한 지도 데이터, 시간적 다양성, 시점 변화를 제공하며, 파이썬 API와 AIcrowd 통합을 통해 최신 기준 평가를 가능하게 한다.

ABSTRACT

For long-term autonomy, most place recognition methods are mainly evaluated on simplified scenarios or simulated datasets, which cannot provide solid evidence to evaluate the readiness for current Simultaneous Localization and Mapping (SLAM). In this paper, we present a long-term place recognition dataset for use in mobile localization under large-scale dynamic environments. This dataset includes a campus-scale track and a city-scale track: 1) the campus-track focuses the long-term property, we record LiDAR device and an omnidirectional camera on 10 trajectories, and each trajectory are repeatly recorded 8 times under variant illumination conditions. 2) the city-track focuses the large-scale property, we mount the LiDAR device on the vehicle and traversing through a 120km trajectories, which contains open streets, residential areas, natural terrains, etc. They includes 200 hours of raw data of all kinds scenarios within urban environments. The ground truth position for both tracks are provided on each trajectory, which is obtained from the Global Position System with an additional General ICP based point cloud refinement. To simplify the evaluation procedure, we also provide the Python-API with a set of place recognition metrics is proposed to quickly load our dataset and evaluate the recognition performance against different methods. This dataset targets at finding methods with high place recognition accuracy and robustness, and providing real robotic system with long-term autonomy. The dataset and the provided tools can be accessed from https://github.com/MetaSLAM/ALITA.

연구 동기 및 목표

• 자율 시스템의 장소 인식 평가를 위한 대규모 장기적이고 다양한 실세계 데이터셋의 부족을 해결하기 위해.
• 실도시 및 캠퍼스 환경에서 시간적 및 시점 변화를 캡처하는 벤치마크 데이터셋을 제공하기 위해.
• 조명, 계절 변화 및 시점 변화와 같은 실제 조건에서 학습 기반 및 비학습 기반 방법의 평가를 가능하게 하기 위해.
• 고정밀 지도 데이터와 표준화된 평가 프로토콜을 제공함으로써 장기적 자율성 지원을 위해.
• 오픈소스 데이터 및 도구를 통해 향후 LiDAR-이미지 융합, 지ap 병합, 강건한 정위치 연구를 촉진하기 위해.

제안 방법

• 120km의 도시 궤적(리모트 데이터 포함)과 50km의 캠퍼스 궤적(리모트 및 옴니디렉셔널 카메라 데이터 포함)을 포함하며, 다양한 조건에서 다수의 기록을 수행하였다.
• 각 캠퍼스 궤적은 다양한 조명 조건에서 8회 기록되어 조명 내구성 평가가 가능하도록 하였다.
• GPS를 기반으로 한 지도 데이터에 추가로 일반화된 ICP 기반 포인트 클라우드 정밀 조정을 적용하여 미터 이내 정확도를 확보하였다.
• 표준 지표인 Recall@1을 사용하여 데이터 로딩, 쿼리 및 데이터베이스 프레임 생성, 성능 평가를 단순화하기 위해 파이썬 API를 개발하였다.
• 데이터셋은 장소 인식 및 지도 병합 작업을 모두 지원하며, 도시 궤적의 궤적 쌍에 대해 오버랩 지도 데이터를 제공한다.
• AIcrowd 기반 온라인 평가 플랫폼을 통합하여 새로운 모델의 표준화된 벤치마크 평가를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 최신 기술 기반 LiDAR 및 시각 기반 장소 인식 모델은 장기적이고 대규모이며 동적인 환경 변화 하에서 어떻게 성능을 발휘하는가?
• RQ2 실세계 도시 및 캠퍼스 환경에서 시점 및 조도 변화가 검색 정확도에 미치는 영향은 무엇인가?
• RQ3 기존 모델은 실세계 데이터셋에서 다양한 궤적 및 환경 조건 간에 효과적으로 일반화되는가?
• RQ4 모델의 성능은 정방향 및 역방향 모두에서 이동 및 시점 이동 변화 상황에서 어떻게 변하는가?
• RQ5 ALITA 데이터셋은 지도 병합 및 정위치 시스템의 강건한 평가를 어느 정도 지원할 수 있는가?

주요 결과

• PointNetVLAD는 도시 데이터셋에서 정방향에서 가장 높은 Recall@1 성능을 기록하여 중간 수준의 시점 및 이동 변화 하에서도 강력한 성능을 보였다.
• SphereVLAD는 도시 데이터셋의 역방향에서 다른 모델들을 능가하여 큰 시점 변화에 대한 내구성이 뛰어나다는 것을 시사하였다.
• 캠퍼스 데이터셋에서는 MinkLoc3D가 정방향 및 역방향 모두에서 최고의 성능을 기록하여 높은 시점 다양성 하에서도 강력한 일반화 능력을 보였다.
• 모든 모델의 평균 Recall@1은 캠퍼스 데이터셋에서 도시 데이터셋보다 유의미하게 낮아, 더 높은 시점 다양성으로 인해 더 큰 도전 과제임을 시사하였다.
• 궤적 간 높은 오버랩 및 정밀한 지도 데이터 덕분에 지도 병합 및 정위치 시스템의 신뢰성 있는 평가가 가능하다.
• 제공된 파이썬 API와 AIcrowd 통합을 통해 다양한 환경 조건에서 새로운 모델의 빠르고 표준화된 벤치마크 평가가 가능하다.