[论文解读] Attention-SLAM: A Visual Monocular SLAM Learning from Human Gaze

Jinquan Li, Ling Pei+6 more|arXiv (Cornell University)|Sep 15, 2020

Robotics and Sensor-Based Localization参考文献 41被引用 5

一句话总结

本文提出 Attention-SLAM，一种单目视觉 SLAM 系统，通过集成受人类注视启发的显著性模型（SalNavNet）在 Bundle Adjustment 中加权特征点，从而提升精度与鲁棒性。通过缓解中心偏差并利用显著性图优先处理显著物体，Attention-SLAM 在 Salient Euroc 数据集上的轨迹精度和不确定性降低方面优于 DSO、ORB-SLAM 和 Salient DSO。

ABSTRACT

This paper proposes a novel simultaneous localization and mapping (SLAM) approach, namely Attention-SLAM, which simulates human navigation mode by combining a visual saliency model (SalNavNet) with traditional monocular visual SLAM. Most SLAM methods treat all the features extracted from the images as equal importance during the optimization process. However, the salient feature points in scenes have more significant influence during the human navigation process. Therefore, we first propose a visual saliency model called SalVavNet in which we introduce a correlation module and propose an adaptive Exponential Moving Average (EMA) module. These modules mitigate the center bias to enable the saliency maps generated by SalNavNet to pay more attention to the same salient object. Moreover, the saliency maps simulate the human behavior for the refinement of SLAM results. The feature points extracted from the salient regions have greater importance in optimization process. We add semantic saliency information to the Euroc dataset to generate an open-source saliency SLAM dataset. Comprehensive test results prove that Attention-SLAM outperforms benchmarks such as Direct Sparse Odometry (DSO), ORB-SLAM, and Salient DSO in terms of efficiency, accuracy, and robustness in most test cases.

研究动机与目标

• 通过引入受视觉显著性启发的人类注意力机制，提升单目 SLAM 的精度与鲁棒性。
• 解决传统 SLAM 系统对所有特征一视同仁、忽视语义相关性的局限性。
• 利用信息论与基于显著性的关键帧选择方法，降低姿态估计的不确定性。
• 构建一个新的基准数据集——Salient Euroc，通过显著性图标注，用于面向导航的 SLAM 评估。
• 探究在非导航数据集上训练的显著性模型是否因中心偏差而影响 SLAM 性能。

提出的方法

• 提出 SalNavNet，一种结合相关性模块与自适应指数移动平均（EMA）的视觉显著性模型，以减少中心偏差并提升显著性预测的时序一致性。
• 引入加权 Bundle Adjustment 框架，为显著图像区域内的特征点分配更高的优化权重，从而增强跟踪稳定性。
• 利用信息论方法基于显著性驱动的不确定性降低来选择关键帧，提升效率与精度。
• 通过 SalNavNet 在原始 Euroc 数据集上添加显著性标注，生成新的开源数据集——Salient Euroc。
• 采用 SalGAN 和 SalEMA 作为基线显著性模型进行对比，分析其在 SLAM 环境下的性能差异。
• 将显著性图作为注意力掩码，指导特征选择与优化，确保在帧间对显著物体的持续跟踪。

实验结果

研究问题

• RQ1 在一般图像数据集上训练的显著性模型，能否有效提升其在导航任务中单目 SLAM 的性能？
• RQ2 现有显著性模型中的中心偏差在物体在图像帧中移动时，如何影响 SLAM 的精度？
• RQ3 与标准 SLAM 方法相比，将基于显著性的加权机制引入 Bundle Adjustment 是否能降低姿态估计的不确定性？
• RQ4 显著性模型的训练数据选择在多大程度上影响显著性增强 SLAM 系统的性能？
• RQ5 显著性感知的 SLAM 系统能否在精度与鲁棒性上超越 ORB-SLAM 和 DSO 等最先进基准？

主要发现

• Attention-SLAM 在大多数 Euroc 序列中均表现出低于 DSO、ORB-SLAM 和 Salient DSO 的轨迹误差，尤其在中等和简单难度数据集上表现更优。
• 尽管 SalEMA 使用了 LSTM，但其在 SALICON 数据集上训练的 SalGAN 所生成的显著性图仍优于 SalEMA，原因在于 SALICON 的中心偏差更弱。
• SalNavNet 成功缓解了中心偏差，即使在显著物体从图像中心移动至边缘时，也能实现对显著物体的稳定跟踪。
• 通过信息论分析验证，系统借助基于显著性的关键帧选择，有效降低了姿态估计的不确定性。
• 运动模糊与快速旋转会降低性能，尤其在 MH04、MH05、V103 和 V203 上表现明显，原因在于特征提取不佳与显著性图错位。
• 本文开源了 Salient Euroc 数据集，以支持未来基于显著性的视觉 SLAM 研究。