[论文解读] ALITA: A Large-scale Incremental Dataset for Long-term Autonomy

Peng Yin, Shiqi Zhao+6 more|arXiv (Cornell University)|May 22, 2022

Robotics and Sensor-Based Localization被引用 8

一句话总结

ALITA 是一个大规模、长期的场景识别数据集，包含城市和校园环境中的激光雷达与全向摄像头数据，旨在评估在动态环境变化下的鲁棒性。该数据集支持在城市轨迹120公里和校园轨迹50公里的范围内，对激光雷达与视觉方法进行基准测试，提供真实世界中的真实轨迹、时间多样性及视角变化，通过Python API与AIcrowd平台集成，实现最先进的评估性能。

ABSTRACT

For long-term autonomy, most place recognition methods are mainly evaluated on simplified scenarios or simulated datasets, which cannot provide solid evidence to evaluate the readiness for current Simultaneous Localization and Mapping (SLAM). In this paper, we present a long-term place recognition dataset for use in mobile localization under large-scale dynamic environments. This dataset includes a campus-scale track and a city-scale track: 1) the campus-track focuses the long-term property, we record LiDAR device and an omnidirectional camera on 10 trajectories, and each trajectory are repeatly recorded 8 times under variant illumination conditions. 2) the city-track focuses the large-scale property, we mount the LiDAR device on the vehicle and traversing through a 120km trajectories, which contains open streets, residential areas, natural terrains, etc. They includes 200 hours of raw data of all kinds scenarios within urban environments. The ground truth position for both tracks are provided on each trajectory, which is obtained from the Global Position System with an additional General ICP based point cloud refinement. To simplify the evaluation procedure, we also provide the Python-API with a set of place recognition metrics is proposed to quickly load our dataset and evaluate the recognition performance against different methods. This dataset targets at finding methods with high place recognition accuracy and robustness, and providing real robotic system with long-term autonomy. The dataset and the provided tools can be accessed from https://github.com/MetaSLAM/ALITA.

研究动机与目标

• 为解决当前缺乏大规模、长期且多样化的现实世界数据集以评估自主系统中的场景识别问题。
• 提供一个基准数据集，捕捉真实城市与校园环境中随时间变化和视角变化的特性。
• 在光照、季节性和视角变化等真实条件下的环境中，评估基于学习与非基于学习的方法。
• 通过提供高精度真实轨迹与标准化评估协议，支持长期自主性研究。
• 通过开源数据与工具，促进未来在激光雷达-图像融合、地图融合与鲁棒定位方面的研究。

提出的方法

• 数据集包含一条120公里的城市轨迹，配备激光雷达数据，以及一条50公里的校园轨迹，配备激光雷达与全向摄像头数据，均以不同条件多次采集。
• 每条校园轨迹在不同光照条件下记录了八次，以支持光照鲁棒性的评估。
• 通过GPS生成真实轨迹位置，并结合通用ICP点云优化方法，实现亚米级精度。
• 开发了Python-API，以简化数据加载、查询帧与数据库帧生成，以及使用标准指标（如Recall@1）进行性能评估。
• 该数据集支持场景识别与地图融合任务，为城市轨迹中的轨迹对提供重叠真实轨迹。
• 集成AIcrowd在线评估平台，支持新模型的标准化基准测试。

实验结果

研究问题

• RQ1 在长期、大规模且动态的环境变化下，最先进的激光雷达与视觉场景识别模型表现如何？
• RQ2 视角与光照变化对真实城市与校园环境中检索准确率的影响是什么？
• RQ3 现有模型能否在真实世界数据集中，有效泛化至不同轨迹与环境条件？
• RQ4 在正向与反向方向的平移与视角变化下，模型性能如何变化？
• RQ5 ALITA数据集在多大程度上能够支持地图融合与定位系统的鲁棒评估？

主要发现

• PointNetVLAD在城市数据集的正向方向上实现了最高的Recall@1，表明其在中等视角与平移变化下表现优异。
• SphereVLAD在城市数据集的反向方向上优于其他模型，表明其对大幅视角变化具有更强的鲁棒性。
• 在校园数据集上，MinkLoc3D在正向与反向方向均表现最佳，表明其在高视角多样性下具备出色的泛化能力。
• 所有模型在校园数据集上的平均Recall@1显著低于城市数据集，表明由于更高的视角多样性，其挑战性更大。
• 数据集的高轨迹重叠度与精确真实轨迹，使得地图融合与定位系统的可靠评估成为可能。
• 提供的Python-API与AIcrowd集成，支持在多样化环境条件下对新模型进行快速、标准化的基准测试。