[论文解读] Edge-Direct Visual Odometry

Kevin Christensen, Martial Hebert|arXiv (Cornell University)|Jun 11, 2019

Robotics and Sensor-Based Localization参考文献 25被引用 8

一句话总结

本文提出了一种名为边缘直接视觉里程计（Edge-Direct Visual Odometry）的稀疏视觉里程计方法，该方法仅在单幅图像中提取的边缘像素上最小化光度误差，并采用鲁棒高斯-牛顿优化。通过聚焦于通过Canny边缘检测与自动阈值化方法识别出的边缘，该方法在计算量仅为密集方法90%的情况下实现了最先进水平的精度，显著减少了漂移，同时在标准RGB-D基准测试中保持了高效率。

ABSTRACT

In this paper we propose an edge-direct visual odometry algorithm that efficiently utilizes edge pixels to find the relative pose that minimizes the photometric error between images. Prior work on exploiting edge pixels instead treats edges as features and employ various techniques to match edge lines or pixels, which adds unnecessary complexity. Direct methods typically operate on all pixel intensities, which proves to be highly redundant. In contrast our method builds on direct visual odometry methods naturally with minimal added computation. It is not only more efficient than direct dense methods since we iterate with a fraction of the pixels, but also more accurate. We achieve high accuracy and efficiency by extracting edges from only one image, and utilize robust Gauss-Newton to minimize the photometric error of these edge pixels. This simultaneously finds the edge pixels in the reference image, as well as the relative camera pose that minimizes the photometric error. We test various edge detectors, including learned edges, and determine that the optimal edge detector for this method is the Canny edge detection algorithm using automatic thresholding. We highlight key differences between our edge direct method and direct dense methods, in particular how higher levels of image pyramids can lead to significant aliasing effects and result in incorrect solution convergence. We show experimentally that reducing the photometric error of edge pixels also reduces the photometric error of all pixels, and we show through an ablation study the increase in accuracy obtained by optimizing edge pixels only. We evaluate our method on the RGB-D TUM benchmark on which we achieve state-of-the-art performance.

研究动机与目标

• 通过利用边缘像素而非全图像强度，开发一种更高效且更精确的视觉里程计方法。
• 证明仅使用边缘像素即可在整幅图像上最小化光度误差，从而在不损失精度的前提下显著降低计算负载。
• 将边缘直接优化与直接密集方法进行比较，突出在更高图像金字塔层级下误差收敛特性和混叠效应的差异。
• 通过消融研究（包括随机像素采样与关键帧融合）验证基于边缘的优化在鲁棒性与稳定性方面的表现。
• 确立仅对边缘像素进行优化可实现比现有方法更低的相对位姿漂移与绝对轨迹误差。

提出的方法

• 该方法使用Canny边缘检测结合自动阈值化从单个参考图像中提取边缘，该方法在测试的多种边缘检测器中表现最优。
• 仅基于边缘像素强度构建光度误差函数，并通过鲁棒高斯-牛顿优化最小化该误差，以估计相机的相对位姿。
• 该算法采用Lucas-Kanade逆组合框架，使时间复杂度与所用像素数量呈线性关系——当仅使用边缘时，复杂度大幅降低。
• 通过最小化光度误差，联合估计相对位姿并识别参考图像中的边缘像素，避免了单独的特征匹配步骤。
• 系统结合恒定运动假设与关键帧管理机制，以提升长序列中的稳定性并减少漂移。
• 通过与随机像素采样和密集像素优化的对比，验证边缘选择的优越性。

实验结果

研究问题

• RQ1 仅在边缘像素上最小化光度误差，是否能实现与全图像密集优化相当或更优的精度？
• RQ2 在计算效率与收敛稳定性方面，基于边缘的优化与密集方法相比如何？
• RQ3 对于边缘直接视觉里程计而言，最优的边缘检测器是什么？其性能表现如何？
• RQ4 在边缘像素上减少光度误差，是否能同时降低所有图像像素上的误差？
• RQ5 使用边缘像素对长序列中的轨迹漂移与帧间延迟有何影响？

主要发现

• 边缘直接方法在TUM RGB-D基准测试中实现了最先进水平的性能，其相对位姿漂移与绝对轨迹误差显著低于以往方法。
• 仅对边缘像素进行优化，相比密集方法计算量减少了约90%，可在Intel i7 CPU上实现约50 fps的处理速度。
• 消融研究证实，与相同数量的随机像素相比，边缘像素在精度与稳定性方面更具优势。
• 在边缘像素上最小化光度误差，可同时降低所有图像像素的误差，表明边缘在准确位姿估计中已达到最小充分性。
• 密集方法在较高图像金字塔层级下会出现混叠效应，导致错误收敛，而边缘直接方法可避免此问题。
• 该方法在长序列中（例如99秒，18米）表现稳健，无需使用Bundle Adjustment或回环检测即可保持低漂移。