[论文解读] Are We Ready for Service Robots? The OpenLORIS-Scene Datasets for Lifelong SLAM

Xuesong Shi, Dongjiang Li+16 more|arXiv (Cornell University)|Nov 13, 2019

Robotics and Sensor-Based Localization参考文献 24被引用 19

一句话总结

本文介绍了OpenLORIS-Scene数据集和基准测试，用于持续学习SLAM，通过在室内环境中使用RGB-D、IMU和LiDAR传感器捕捉真实世界场景随时间的变化。提出新的度量标准，以分别评估定位的鲁棒性和准确性，揭示现有SLAM系统在视点、光照和物体变化方面表现显著不足，尤其是在重定位任务中。

ABSTRACT

Service robots should be able to operate autonomously in dynamic and daily changing environments over an extended period of time. While Simultaneous Localization And Mapping (SLAM) is one of the most fundamental problems for robotic autonomy, most existing SLAM works are evaluated with data sequences that are recorded in a short period of time. In real-world deployment, there can be out-of-sight scene changes caused by both natural factors and human activities. For example, in home scenarios, most objects may be movable, replaceable or deformable, and the visual features of the same place may be significantly different in some successive days. Such out-of-sight dynamics pose great challenges to the robustness of pose estimation, and hence a robot's long-term deployment and operation. To differentiate the forementioned problem from the conventional works which are usually evaluated in a static setting in a single run, the term extit{lifelong SLAM} is used here to address SLAM problems in an ever-changing environment over a long period of time. To accelerate lifelong SLAM research, we release the OpenLORIS-Scene datasets. The data are collected in real-world indoor scenes, for multiple times in each place to include scene changes in real life. We also design benchmarking metrics for lifelong SLAM, with which the robustness and accuracy of pose estimation are evaluated separately. The datasets and benchmark are available online at https://lifelong-robotic-vision.github.io/dataset/scene.

研究动机与目标

• 填补在长期、动态真实环境下评估SLAM系统方面的空白，特别是由人为活动和环境变化引起的场景变化。
• 提供一个公开数据集，包含每个场景的多个序列，以捕捉光照、视角、可移动物体和动态元素的时间变化。
• 引入新的基准度量标准，明确通过正确率度量评估定位鲁棒性，与传统仅关注准确性的评估方式区分开来。
• 在受控和非受控的场景变化条件下，实现对持续学习SLAM算法的系统性评估，以识别算法的薄弱环节。
• 支持未来在长期场景理解、增量学习和时空建模方面面向服务机器人的研究。

提出的方法

• 使用轮式机器人在真实室内场景中多次访问，采集多模态传感器数据（RGB-D、双鱼眼相机、IMU、轮式里程计、LiDAR），以捕捉场景动态变化。
• 利用运动捕捉系统（MCS）或LiDAR提供的高精度真实轨迹作为轨迹监督。
• 设计一个基准测试，包含两个关键度量标准：用于评估准确性的ATE（绝对轨迹误差）和一种新颖的正确率度量标准（C^{0.3,∞}S^{60}-R），用于评估重定位成功的鲁棒性。
• 通过选择仅在一个因素（如视角、光照、物体存在）上不同的序列对，开展受控实验，以隔离挑战因素。
• 将标准SLAM算法（ORB-SLAM2、DS-SLAM、VINS、InfiniTAMv2）应用于该数据集，并通过轨迹对齐至真实轨迹进行评估。
• 采用一致的处理流程：通过SVD方法估计的变换将估计轨迹对齐至真实轨迹，随后计算误差和正确率度量标准。

实验结果

研究问题

• RQ1 当同一场景在光照、视角或物体配置发生显著变化后再次访问时，现有SLAM算法在重定位任务中的表现如何？
• RQ2 在长期部署中，哪些环境因素——视角、光照、物体存在，或动态人员——对SLAM鲁棒性造成最严重的影响？
• RQ3 当前SLAM系统在经历大范围漂移或场景变化后，其重定位失败的程度有多大？这种失败在不同传感器模态之间有何差异？
• RQ4 所提出的正确率度量标准是否能有效区分鲁棒与脆弱的定位性能，特别是在累积漂移较大的情况下？
• RQ5 不同传感器配置（如RGB-D与双鱼眼相机或IMU）如何影响SLAM系统应对长期场景变化的能力？

主要发现

• 在'办公室'和'市场'场景的第2至第5个序列中，大多数算法的重定位完全失败，表明在真实世界场景变化下存在严重的鲁棒性问题。
• '办公室'场景实验表明，视角变化和光照变化是最具挑战性的因素，ORBSLAM2（双鱼眼）和ORB-SLAM2（RGB-D）在这两种条件下的重定位得分降至0。
• 当仅物体被改变时，DS-SLAM和VINS（彩色）分别获得较高的重定位得分（0.994和0.997），表明其对静态物体变化的处理能力更强。
• VINS（鱼眼）变体在所有受控因素下均完全失败，表明其对广角畸变敏感，且在几何变化下缺乏鲁棒性。
• 正确率度量标准成功识别出长轨迹初始和末尾部分的错误定位，凸显在大场景中需要更大的ATE阈值。
• 结果表明，当前SLAM系统尚不足以支持真实世界中的长期部署，尤其当场景变化不仅限于轻微光照变化时。