[论文解读] E2PNet: Event to Point Cloud Registration with Spatio-Temporal Representation Learning

Xiuhong Lin, Changjie Qiu+7 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

E2PNet 是首个用于事件到点云配准的基于学习的方法，引入了事件点到张量（EP2T）网络，将稀疏、非均匀的事件数据转换为结构化的二维网格状特征张量。这使得能够直接使用成熟的基于RGB的2D-3D配准框架，在极端光照和运动模糊条件下，相比基于RGB的方法实现了更高的精度和鲁棒性。

ABSTRACT

Event cameras have emerged as a promising vision sensor in recent years due to their unparalleled temporal resolution and dynamic range. While registration of 2D RGB images to 3D point clouds is a long-standing problem in computer vision, no prior work studies 2D-3D registration for event cameras. To this end, we propose E2PNet, the first learning-based method for event-to-point cloud registration. The core of E2PNet is a novel feature representation network called Event-Points-to-Tensor (EP2T), which encodes event data into a 2D grid-shaped feature tensor. This grid-shaped feature enables matured RGB-based frameworks to be easily used for event-to-point cloud registration, without changing hyper-parameters and the training procedure. EP2T treats the event input as spatio-temporal point clouds. Unlike standard 3D learning architectures that treat all dimensions of point clouds equally, the novel sampling and information aggregation modules in EP2T are designed to handle the inhomogeneity of the spatial and temporal dimensions. Experiments on the MVSEC and VECtor datasets demonstrate the superiority of E2PNet over hand-crafted and other learning-based methods. Compared to RGB-based registration, E2PNet is more robust to extreme illumination or fast motion due to the use of event data. Beyond 2D-3D registration, we also show the potential of EP2T for other vision tasks such as flow estimation, event-to-image reconstruction and object recognition. The source code can be found at: https://github.com/Xmu-qcj/E2PNet.

研究动机与目标

• 为解决跨模态2D-3D配准中事件到点云配准缺乏基于学习的方法这一关键空白。
• 设计一种表征网络，有效将稀疏、非均匀的事件数据——空间稀疏但时间密集——编码为网格状特征张量。
• 实现与现有基于RGB的2D-3D配准框架的直接集成，无需修改超参数或训练流程。
• 在过曝和运动模糊等传统RGB相机失效的极端条件下，提升鲁棒性。
• 展示EP2T模块在配准之外的更广泛应用，包括光流估计、事件到图像重建以及目标识别。

提出的方法

• 提出EP2T，一种新颖的事件表征网络，将事件数据视为时空点云，并对空间和时间维度分别进行采样与信息聚合。
• 采用时空分离的注意力机制，根据事件数据中不均匀的空间和时间分布自适应加权特征。
• 采用基于PointNet++的架构并结合自适应采样，从事件点云中提取局部特征，降低计算成本的同时保留时空细节。
• 将所得特征表征转换为2D网格状张量，实现与现有2D-3D配准框架（如LCD）的即插即用兼容性。
• 提出一种数据构建流程，从现有SLAM数据集生成新的E2P数据集（MVSEC-E2P），支持端到端训练。
• 通过调整EP2T采样点数量，支持灵活的精度与效率权衡，最优性能在512个采样点时达到。

实验结果

研究问题

• RQ1 事件数据能否被有效表征为结构化的2D特征张量，以支持现有基于RGB的2D-3D配准框架在事件到点云配准中的应用？
• RQ2 如何对事件数据中的时空非均匀性——空间稀疏但时间密集——进行建模，以保留关键的运动与外观细节？
• RQ3 在极端光照和运动模糊场景下，基于事件的2D-3D配准是否优于传统的基于RGB的方法？
• RQ4 EP2T模块在配准之外的其他视觉任务中（如光流估计和事件到图像重建）的泛化能力如何？
• RQ5 EP2T模块中采样点数量变化带来的效率-精度权衡如何？如何为实时部署优化？

主要发现

• 在MVSEC-E2P数据集上，E2PNet实现3.606°的旋转误差和0.821m的平移误差，显著优于基于RGB的LCD（6.336°，1.347m）及其他手工设计的事件张量化方法。
• 混合E统计量基线（结合三种手工设计方法）实现4.968°的旋转误差和1.297m的平移误差，而E2PNet分别将其降低至3.606°和0.821m。
• 在512个EP2T采样点时，E2PNet实现65.51ms的推理时间与2.99GB的内存占用，与其它基线相当，同时保持更高精度。
• 增加EP2T采样点数量可提升精度（如16,384个点时旋转误差降至3.247°），但显著增加内存与时间开销，表明存在明确的效率-精度权衡。
• EP2T模块在配准之外也表现出良好的泛化能力，在光流估计、事件到图像重建及目标识别任务中表现优异。
• 所提出的E2P数据集构建流程可从现有SLAM数据集生成高精度、大规模的E2P数据集，为未来事件驱动3D感知研究提供支持。