[论文解读] IV-SLAM: Introspective Vision for Simultaneous Localization and Mapping

Sadegh Rabiee, Joydeep Biswas|arXiv (Cornell University)|Aug 6, 2020

Robotics and Sensor-Based Localization参考文献 33被引用 5

一句话总结

IV-SLAM 提出了一种上下文感知的自监督噪声建模方法，通过使用内省学习框架识别并降低来自阴影、反光和低对比度纹理等困难图像区域的不可靠特征权重，从而提升视觉 SLAM 的鲁棒性。与真实世界数据中的 ORB-SLAM 相比，该方法将跟踪误差降低了 70% 以上，同时将故障间隔的平均距离提高了 70% 以上。

ABSTRACT

Existing solutions to visual simultaneous localization and mapping (V-SLAM) assume that errors in feature extraction and matching are independent and identically distributed (i.i.d), but this assumption is known to not be true -- features extracted from low-contrast regions of images exhibit wider error distributions than features from sharp corners. Furthermore, V-SLAM algorithms are prone to catastrophic tracking failures when sensed images include challenging conditions such as specular reflections, lens flare, or shadows of dynamic objects. To address such failures, previous work has focused on building more robust visual frontends, to filter out challenging features. In this paper, we present introspective vision for SLAM (IV-SLAM), a fundamentally different approach for addressing these challenges. IV-SLAM explicitly models the noise process of reprojection errors from visual features to be context-dependent, and hence non-i.i.d. We introduce an autonomously supervised approach for IV-SLAM to collect training data to learn such a context-aware noise model. Using this learned noise model, IV-SLAM guides feature extraction to select more features from parts of the image that are likely to result in lower noise, and further incorporate the learned noise model into the joint maximum likelihood estimation, thus making it robust to the aforementioned types of errors. We present empirical results to demonstrate that IV-SLAM 1) is able to accurately predict sources of error in input images, 2) reduces tracking error compared to V-SLAM, and 3) increases the mean distance between tracking failures by more than 70% on challenging real robot data compared to V-SLAM.

研究动机与目标

• 解决 V-SLAM 假设重投影误差为独立同分布（i.i.d.）的局限性，该假设在真实世界条件下（如阴影、反光和低对比度纹理）会失效。
• 克服依赖手工设计启发式方法或语义分割来过滤不良特征的依赖，通过从图像上下文中自主学习故障来源。
• 通过将学习到的、与上下文相关的噪声模型整合到联合最大似然估计中，提升 SLAM 的鲁棒性和精度。
• 实现在无需训练数据中手动标注故障来源的情况下，实现对故障的自主监督。

提出的方法

• 训练一个深度神经网络，基于图像上下文预测特征可靠性，学习识别阴影、反光和高频纹理等误差来源。
• 通过可微分的自监督监督机制生成故障预测的伪标签，利用 SLAM 优化的一致性进行监督。
• 构建一个上下文感知的噪声模型，显式考虑异方差噪声，为来自不可靠图像区域的特征分配更高的不确定性。
• 将学习到的噪声模型集成到 SLAM 的联合最大似然估计中，根据预测的可靠性调整特征的影响。
• 动态引导特征提取，优先选择预测噪声较低的区域，从而在匹配前提升输入特征的质量。
• 利用帧间的时间一致性来优化故障预测，提升部署过程中的鲁棒性。

实验结果

研究问题

• RQ1 自监督模型是否能在无需人工标注的情况下准确预测视觉 SLAM 中的故障来源？
• RQ2 上下文感知的噪声模型在真实世界 V-SLAM 系统中如何提升跟踪精度和故障容错能力？
• RQ3 与标准 V-SLAM 相比，IV-SLAM 在降低跟踪误差和增加故障间隔平均距离方面达到何种程度的改进？
• RQ4 内省模型是否能泛化到未见过的故障模式（如镜头眩光和动态阴影）？
• RQ5 将学习到的可靠性评分集成到 SLAM 优化中是否能改善整体轨迹估计？

主要发现

• 与 ORB-SLAM 相比，IV-SLAM 在真实世界数据集上将平移误差降低了 35%，并将故障间隔平均距离（MDBF）提高了 70% 以上。
• 该模型能准确预测阴影、反光和镜头眩光等故障来源，图 6 中的绿色/红色点分别表示预测为可靠和不可靠的特征。
• 在仿真环境中，IV-SLAM 相较于 ORB-SLAM 实现了 35% 的平移误差降低和 35% 的 MDBF 提升。
• 当 ORB-SLAM 因移动阴影和镜面反光导致特征失效而发生灾难性故障时，IV-SLAM 仍能成功跟踪机器人的轨迹。
• 学习到的噪声模型能有效降低对模糊纹理（如沥青、植被）和动态物体特征的权重，从而提升系统鲁棒性。
• 自监督训练方案使模型无需真实标签即可学习故障模式，展现出良好的可扩展性和自主性。