[论文解读] LIMO: Lidar-Monocular Visual Odometry

Johannes Graeter, Alexander Wilczynski+1 more|arXiv (Cornell University)|Jul 19, 2018

Robotics and Sensor-Based Localization参考文献 20被引用 9

一句话总结

LIMO 提出了一种激光雷达-单目视觉里程计系统，通过局部平面拟合和语义标注，将单目特征跟踪与激光雷达获取的深度估计相融合，实现鲁棒的异常值剔除。通过将这些深度估计集成到基于关键帧的捆绑调整框架中，LIMO 在 KITTI 基准测试中取得了最先进性能，未使用回环检测或基于 ICP 的优化，翻译误差排名第13位，旋转误差排名第11位。

ABSTRACT

Higher level functionality in autonomous driving depends strongly on a precise motion estimate of the vehicle. Powerful algorithms have been developed. However, their great majority focuses on either binocular imagery or pure LIDAR measurements. The promising combination of camera and LIDAR for visual localization has mostly been unattended. In this work we fill this gap, by proposing a depth extraction algorithm from LIDAR measurements for camera feature tracks and estimating motion by robustified keyframe based Bundle Adjustment. Semantic labeling is used for outlier rejection and weighting of vegetation landmarks. The capability of this sensor combination is demonstrated on the competitive KITTI dataset, achieving a placement among the top 15. The code is released to the community.

研究动机与目标

• 为解决单目相机与激光雷达常被单独使用时，对鲁棒、高精度视觉里程计的未满足需求。
• 通过可靠的深度关联方法，弥合基于相机的特征跟踪与激光雷达精确深度测量之间的领域差距。
• 通过引入语义标注和对地面平面点的特殊处理，提升在高速公路等复杂场景下的轨迹精度并减少漂移。
• 通过优化关键帧与特征点选择以提升计算效率，实现实时、在线视觉里程计，无需回环检测。
• 通过充分利用激光雷达与相机数据的互补优势，超越现有的单目与双目 VSLAM 系统。

提出的方法

• LIMO 通过将特征点投影到激光雷达点云中，并对附近的激光雷达点进行局部平面拟合，来估计单目特征点的深度。
• 采用局部平面假设以剔除异常值，并对地面平面点进行单独处理，以提升在高速公路场景下的鲁棒性。
• 利用深度神经网络（基于 Cityscapes 训练）进行语义分割，将特征标记为植被或基础设施，实现在优化中的语义感知加权。
• 基于几何与语义标准选择并修剪特征点，以降低计算负载并提升鲁棒性。
• 采用基于关键帧的捆绑调整框架，整合经深度估计的特征与相机位姿，最小化时间序列上的重投影误差。
• 系统利用先验估计与帧间运动融合，实现在关键帧之间低延迟的位姿估计。

实验结果

研究问题

• RQ1 能否可靠地将激光雷达导出的深度估计与单目特征轨迹关联，以提升视觉里程计的精度？
• RQ2 对特征点（如植被与基础设施）进行语义标注，如何影响视觉里程计的鲁棒性与精度？
• RQ3 在不使用回环检测的前提下，基于关键帧的捆绑调整框架结合激光雷达深度约束，能否超越当前最先进的单目与双目 VSLAM 系统？
• RQ4 对地面平面点进行特殊处理，在高速运动与低纹理的高速公路场景中，对性能有何影响？
• RQ5 激光雷达深度的集成如何提升旋转估计精度，而旋转估计对轨迹终点精度至关重要？

主要发现

• LIMO 在 KITTI 基准测试中实现了 0.93% 的平均翻译误差和 0.0026°/m 的旋转误差，翻译误差排名第13位，旋转误差排名第11位。
• 与帧间基线方法（Liviodo）相比，旋转误差降低了近 40%，证明了结合激光雷达深度的捆绑调整具有显著优势。
• 该方法优于 ORB-SLAM2 和 Stereo LSD-SLAM，确立了其作为最佳非 ICP 基础的激光雷达-相机视觉里程计系统的地位。
• 植被特征点权重为 0.9 时取得最优结果，但最优权重在不同序列中有所差异，表明场景依赖的动力学特性复杂。
• 轨迹在无回环检测的情况下可保持数公里的极低漂移，证实了深度辅助捆绑调整的有效性。
• 系统在 4 个 CPU 核心上以 5 Hz 的速度运行，证明了其在在线视觉里程计应用中的实时可行性。