[论文解读] Simultaneous Localization and Mapping Related Datasets: A Comprehensive Survey

Yuanzhi Liu, Yujia Fu+4 more|arXiv (Cornell University)|Feb 8, 2021

Robotics and Sensor-Based Localization参考文献 222被引用 10

一句话总结

本文对SLAM相关数据集进行了全面综述，分析了其采集方法、特征、分类方式及评估标准。论文指出了现有数据集的局限性，提出了SLAM任务的系统性分类体系，并为数据集选择和未来数据集开发提供了切实可行的建议，以提升SLAM基准测试水平和研究可复现性。

ABSTRACT

Due to the complicated procedure and costly hardware, Simultaneous Localization and Mapping (SLAM) has been heavily dependent on public datasets for drill and evaluation, leading to many impressive demos and good benchmark scores. However, with a huge contrast, SLAM is still struggling on the way towards mature deployment, which sounds a warning: some of the datasets are overexposed, causing biased usage and evaluation. This raises the problem on how to comprehensively access the existing datasets and correctly select them. Moreover, limitations do exist in current datasets, then how to build new ones and which directions to go? Nevertheless, a comprehensive survey which can tackle the above issues does not exist yet, while urgently demanded by the community. To fill the gap, this paper strives to cover a range of cohesive topics about SLAM related datasets, including general collection methodology and fundamental characteristic dimensions, SLAM related tasks taxonomy and datasets categorization, introduction of state-of-the-arts, overview and comparison of existing datasets, review of evaluation criteria, and analyses and discussions about current limitations and future directions, looking forward to not only guiding the dataset selection, but also promoting the dataset research.

研究动机与目标

• 为解决缺乏统一、全面的SLAM相关数据集综述的问题，该综述覆盖了数据采集方法、特征及评估标准。
• 识别现有数据集中存在的偏差和局限性，这些偏差和局限性可能影响SLAM算法评估和实际部署性能。
• 提供SLAM任务和数据集的系统性分类体系，以指导研究人员根据具体研究目标选择合适的数据集。
• 分析当前的评估实践，指出因数据集过度使用而引发的不一致或过拟合风险。
• 提出未来数据集创建的方向，包括尚未充分探索的环境类型和提升数据多样性的方法，以支持更稳健的SLAM开发。

提出的方法

• 基于环境类型、传感器配置和任务相关性，系统性地收集并分类SLAM相关数据集。
• 建立一个多维框架用于数据集表征，包括空间尺度、传感器模态、标注质量及时间分辨率。
• 提出SLAM任务的分类体系——如视觉SLAM、激光雷达SLAM及多传感器SLAM——并与其数据集能力相匹配。
• 跨关键维度（如精度、覆盖范围和可访问性）对50多个公开可用的数据集进行审查与比较。
• 分析基准测试中使用的评估协议，识别常见陷阱，如对特定数据集的过拟合。
• 对数据集局限性进行批判性审查，包括环境偏差、数据稀疏性以及缺乏真实世界变异性。

实验结果

研究问题

• RQ1 现有SLAM相关数据集的基本特征和采集方法是什么？
• RQ2 SLAM数据集目前如何分类，它们最适用于哪些任务？
• RQ3 当前SLAM数据集中存在哪些主要局限性，影响算法评估和实际部署？
• RQ4 现有评估标准如何影响算法在不同数据集上的性能表现和泛化能力？
• RQ5 未来创建更具代表性与多样化的SLAM数据集的最有前景方向是什么？

主要发现

• 许多广泛使用SLAM数据集存在环境和传感器偏差，导致算法过拟合及性能高估。
• 大量数据集局限于室内或受控环境，降低了其在真实户外或长期部署场景中的适用性。
• 评估协议常因数据集特定特征而偏向某些算法，损害了公平基准测试。
• 数据集之间缺乏标准化元数据和标注质量标准，增加了可复现性和跨数据集比较的难度。
• 现有数据集通常缺乏长期序列、动态物体标注以及多模态传感器同步信息，限制了对鲁棒且通用SLAM系统的研究。
• 本综述指出，亟需开发覆盖多样化真实场景的新数据集，特别是包含丰富语义信息和动态标注的户外、城市及长期环境数据集。