[论文解读] Event-based Simultaneous Localization and Mapping: A Comprehensive Survey

Kunping Huang, Sen Zhang+2 more|arXiv (Cornell University)|Apr 19, 2023

Advanced Memory and Neural Computing被引用 18

一句话总结

本次综述评估利用异步事件流的基于事件的 vSLAM 系统，将方法分为基于特征、直接、运动补偿和深度学习方法，讨论表示、性能、挑战及未来方向。

ABSTRACT

In recent decades, visual simultaneous localization and mapping (vSLAM) has gained significant interest in both academia and industry. It estimates camera motion and reconstructs the environment concurrently using visual sensors on a moving robot. However, conventional cameras are limited by hardware, including motion blur and low dynamic range, which can negatively impact performance in challenging scenarios like high-speed motion and high dynamic range illumination. Recent studies have demonstrated that event cameras, a new type of bio-inspired visual sensor, offer advantages such as high temporal resolution, dynamic range, low power consumption, and low latency. This paper presents a timely and comprehensive review of event-based vSLAM algorithms that exploit the benefits of asynchronous and irregular event streams for localization and mapping tasks. The review covers the working principle of event cameras and various event representations for preprocessing event data. It also categorizes event-based vSLAM methods into four main categories: feature-based, direct, motion-compensation, and deep learning methods, with detailed discussions and practical guidance for each approach. Furthermore, the paper evaluates the state-of-the-art methods on various benchmarks, highlighting current challenges and future opportunities in this emerging research area. A public repository will be maintained to keep track of the rapid developments in this field at {\url{https://github.com/kun150kun/ESLAM-survey}}.

研究动机与目标

• 解释事件相机在高速和高动态范围场景下用于vSLAM的工作原理及其优势。
• 按方法学与数据表示对主要的基于事件的vSLAM方法进行分类与分析。
• 总结在基准测试上的表现并识别尚待解决的挑战与未来研究机会。
• 提供指导并建立一个公开代码仓库以跟踪基于事件的SLAM的发展。

提出的方法

• 描述事件相机的工作原理和事件产生模型，包括对比阈值及噪声考虑。
• 回顾常见的事件表示（单个事件、事件包、事件帧、时间表面、运动补偿帧、体素网格、重建图像）。
• 系统性评阅四类基于事件的 vSLAM 方法：基于特征、直接、运动补偿和深度学习方法，详细描述它们的数据关联与优化策略。
• 讨论事件数据的特征提取、跟踪以及相机跟踪/地图构建流程，包括基于点的和基于直线的特征，以及学习驱动的方法。
• 总结数据集和基准测试上的最先进性能，并讨论挑战与未来方向。

实验结果

研究问题

• RQ1 在 vSLAM 中使用的事件数据的主要表示有哪些？它们如何影响性能？
• RQ2 基于特征、直接、运动补偿和深度学习方法如何建立数据关联并从事件流中估计相机位姿与地图？
• RQ3 基于事件的vSLAM当前面临的挑战有哪些，哪些未来方向最有前景？
• RQ4 在基准场景中，基于事件的方法与基于帧的SLAM相比如何？
• RQ5 用于评估最先进的基于事件的 vSLAM 方法的数据集与基准有哪些？

主要发现

• 事件相机具有高时间分辨率、宽动态范围、低时延和低功耗，使在光照和运动条件苛刻的情境中实现 vSLAM成为可能。
• 基于事件的vSLAM方法大致分为四类：基于特征、直接、运动补偿和深度学习方法。
• 为平衡延迟与计算，使用了多种事件表示（单个事件、事件包、事件帧、时间表面、体素网格）。
• 基于特征的方法提取并跟踪特征（点和线）以估计相机位姿和3D 地标，有时使用学习型检测器与描述符。
• 直接方法通过光度或边缘表示对齐事件数据，运动补偿方法在可用时使用运动模型和IMU数据将事件扭曲到参考帧。
• 深度学习方法使用CNNs或SNNs处理事件数据，以预测运动、深度或表示，通常使用合成数据进行训练并在真实数据上进行微调。