[论文解读] Direct Monocular Odometry Using Points and Lines

Shichao Yang, Sebastian Scherer|arXiv (Cornell University)|Mar 19, 2017

Robotics and Sensor-Based Localization参考文献 21被引用 7

一句话总结

该论文提出了一种实时单目视觉里程计系统，通过融合光度误差与几何误差，并同时利用点和边缘信息，提升了在无纹理环境下的鲁棒性。通过在概率框架下联合优化强度一致性与边缘对齐，该方法相比最先进的直接法，显著降低了状态估计误差——在具有挑战性的场景中误差降低超过50%。

ABSTRACT

Most visual odometry algorithm for a monocular camera focuses on points, either by feature matching, or direct alignment of pixel intensity, while ignoring a common but important geometry entity: edges. In this paper, we propose an odometry algorithm that combines points and edges to benefit from the advantages of both direct and feature based methods. It works better in texture-less environments and is also more robust to lighting changes and fast motion by increasing the convergence basin. We maintain a depth map for the keyframe then in the tracking part, the camera pose is recovered by minimizing both the photometric error and geometric error to the matched edge in a probabilistic framework. In the mapping part, edge is used to speed up and increase stereo matching accuracy. On various public datasets, our algorithm achieves better or comparable performance than state-of-the-art monocular odometry methods. In some challenging texture-less environments, our algorithm reduces the state estimation error over 50%.

研究动机与目标

• 解决直接单目VO在无纹理和低对比度环境中仅依赖光度误差失效的局限性。
• 通过引入边缘的几何约束，提升对光照变化和快速运动的鲁棒性。
• 通过使用边缘作为正则化手段并实现高效的立体匹配，提升地图构建的精度与速度。
• 开发一种概率不确定性模型，实现实时VO系统中光度与几何观测的最优融合。
• 通过基于边缘的优化与半稠密深度估计，实现实时性能并保持高精度。

提出的方法

• 系统通过高梯度像素维护关键帧的半稠密深度图，方法与SDVO类似。
• 每帧图像均使用鲁棒的边缘提取器进行边缘检测，并通过描述子在帧间匹配线段。
• 在跟踪阶段，通过最小化结合光度误差（强度一致性）与几何误差（边缘重投影）的联合代价函数来优化相机位姿。
• 采用概率框架对光度与几何观测的不确定性进行建模，实现点与边缘测量的最优融合。
• 在地图构建阶段，匹配的边缘引导立体匹配，通过基于边缘的解析正则化减少搜索空间，提升深度图质量。
• 边缘描述子与检测过程针对实时性能进行优化，计算时间已分析，并考虑通过下采样或更快的检测器（如Edline）实现性能提升。

实验结果

研究问题

• RQ1 通过结合基于边缘的光度误差与几何误差，能否显著提升单目VO在无纹理环境下的性能？
• RQ2 引入边缘约束后，对优化收敛域及对光照变化与运动模糊的鲁棒性有何影响？
• RQ3 边缘在地图构建阶段能多大程度上提升立体匹配的精度与速度？
• RQ4 如何在实时VO系统中对光度与几何观测的不确定性进行概率建模与融合？
• RQ5 基于边缘的正则化能否提升直接VO中半稠密深度图的质量与一致性？

主要发现

• 在ICL/office1数据集上，所提方法将相对位置误差降低至1.85 cm/s，优于SDVO（1.33 cm/s）和ORB-SLAM（X，失败），在无纹理环境中表现更优。
• 在fr3/cabinet-big序列中，该方法误差为8.82 cm/s，相比SDVO的16.23 cm/s降低了45.6%，表明在低纹理场景中性能更优。
• 在fr3/cabinet序列中，该方法误差为13.3 cm/s，显著优于SDVO的21.7 cm/s，而ORB-SLAM完全失败。
• 系统在TUM fr3/cabinet_big数据集上实现了约20 Hz的实时性能，每帧跟踪耗时19.23 ms，总处理时间51.95 ms。
• 边缘检测与描述子计算占总时间的28.2%（16.24 + 11.95 ms），表明其为性能优化的关键瓶颈。
• 光度与几何误差的概率融合显著扩大了收敛域，使系统在大运动或低梯度条件下仍能实现稳定优化。