[论文解读] GCNv2: Efficient Correspondence Prediction for Real-Time SLAM

Jiexiong Tang, Ludvig Ericson+2 more|arXiv (Cornell University)|Feb 28, 2019

Robotics and Sensor-Based Localization参考文献 44被引用 23

一句话总结

GCNv2 是一种轻量级、基于二值描述子的深度学习网络，用于替代 ORB-SLAM2 中的 ORB 特征，在 Jetson TX2 等嵌入式平台实现实时视觉里程计。其在关键点重复性和鲁棒性方面表现更优，保持了 GCN 的精度，同时显著降低推理时间，适用于实时无人机控制。

ABSTRACT

In this paper, we present a deep learning-based network, GCNv2, for generation of keypoints and descriptors. GCNv2 is built on our previous method, GCN, a network trained for 3D projective geometry. GCNv2 is designed with a binary descriptor vector as the ORB feature so that it can easily replace ORB in systems such as ORB-SLAM2. GCNv2 significantly improves the computational efficiency over GCN that was only able to run on desktop hardware. We show how a modified version of ORB-SLAM2 using GCNv2 features runs on a Jetson TX2, an embedded low-power platform. Experimental results show that GCNv2 retains comparable accuracy as GCN and that it is robust enough to use for control of a flying drone.

研究动机与目标

• 开发一种计算高效的基于深度学习的关键点与描述子网络，适用于在嵌入式平台上的实时 SLAM。
• 在保持原始 GCN 网络高精度的同时，降低推理时间，以适配低功耗硬件部署。
• 通过使用二值向量设计与 ORB-SLAM2 兼容的描述子格式，实现与现有 SLAM 流水线的无缝集成。
• 在真实无人机导航中展示鲁棒性与实时性能，特别是在纹理稀少或动态的室内环境中。
• 实现在资源受限、实时性要求高的机器人应用中部署基于深度学习的特征提取。

提出的方法

• GCNv2 以端到端方式训练，预测 256 位二值描述子，格式与 ORB 一致，确保与 ORB-SLAM2 的直接兼容性。
• 网络每次处理单帧 RGB-D 图像，消除了原始 GCN 的多帧匹配开销，提升了推理速度。
• 二值化过程集成于训练过程中，通过汉明距离计算加速描述子匹配。
• 模型基于 3D 投影几何的几何对应关系监督进行训练，确保描述子对视角变化具有鲁棒性。
• 对 ORB-SLAM2 的改进版本将 ORB 替换为 GCNv2 特征，实现在 Jetson TX2 上的实时运行。
• 系统使用 RGB-D 数据直接估计尺度，避免了视觉-惯性融合或深度预测网络的需求。

实验结果

研究问题

• RQ1 能否使基于深度学习的关键点与描述子网络足够高效，实现在 Jetson TX2 等嵌入式平台上的实时运行？
• RQ2 在基于 3D 投影几何训练的二值描述子网络是否在关键点重复性和跟踪鲁棒性方面优于 ORB，特别是在真实 SLAM 场景中？
• RQ3 GCNv2 是否能无需架构修改即可无缝集成到 ORB-SLAM2 等现有 SLAM 框架中？
• RQ4 GCNv2 在纹理稀少的室内走廊或存在大幅视角变化的室外场景中表现如何？
• RQ5 与原始 GCN 相比，该网络是否能在显著降低推理时间的同时保持高精度？

主要发现

• GCNv2 实现了在 Jetson TX2（低功耗嵌入式平台）上的实时视觉里程计，而原始 GCN 需要桌面 GPU 支持。
• 在 Corridor 和 Kitchen 数据集中，尽管检测的关键点总数更少，GCNv2 的内点比例更高（最高达 90%），优于 ORB。
• 在室内走廊和室外停车场场景中，ORB-SLAM2 在 180 度转弯时发生跟踪失败，而 GCNv2 在所有测试案例中均保持稳定跟踪。
• 使用 GCN-SLAM（采用 GCNv2 特征）的无人机在轨迹比较中表现出更少噪声和更高稳定性，位置保持能力优于 ORB-SLAM2。
• 使用 Open3D 的 TSDF 集成从 GCN-SLAM 数据重建的网格生成了定性准确的地图，证实了仅依靠跟踪的可靠性，无需回环检测。
• 中间输出对比显示，GCNv2 特征的分布更均匀且重复性更高，视觉上可确认优于 ORB 特征。