[论文解读] Continuous Direct Sparse Visual Odometry from RGB-D Images

Maani Ghaffari, William Clark+3 more|arXiv (Cornell University)|Apr 3, 2019

Robotics and Sensor-Based Localization参考文献 26被引用 5

一句话总结

该论文提出了一种用于RGB-D图像的连续、直接且稀疏的视觉里程计方法，采用再生核希尔伯特空间中的函数形式化方法，实现了闭式梯度计算和分辨率无关的匹配。该方法将刚体运动表述为SE(n)李代数中的连续流积分，相较于传统直接方法，在低纹理环境中表现出更优的性能。

ABSTRACT

This paper reports on a novel formulation and evaluation of visual odometry from RGB-D images. Assuming a static scene, the developed theoretical framework generalizes the widely used direct energy formulation (photometric error minimization) technique for obtaining a rigid body transformation that aligns two overlapping RGB-D images to a continuous formulation. The continuity is achieved through functional treatment of the problem and representing the process models over RGB-D images in a reproducing kernel Hilbert space; consequently, the registration is not limited to the specific image resolution and the framework is fully analytical with a closed-form derivation of the gradient. We solve the problem by maximizing the inner product between two functions defined over RGB-D images, while the continuous action of the rigid body motion Lie group is captured through the integration of the flow in the corresponding Lie algebra. Energy-based approaches have been extremely successful and the developed framework in this paper shares many of their desired properties such as the parallel structure on both CPUs and GPUs, sparsity, semi-dense tracking, avoiding explicit data association which is computationally expensive, and possible extensions to the simultaneous localization and mapping frameworks. The evaluations on experimental data and comparison with the equivalent energy-based formulation of the problem confirm the effectiveness of the proposed technique, especially, when the lack of structure and texture in the environment is evident.

研究动机与目标

• 开发一种视觉里程计的连续表述，避免离散图像采样和分辨率限制。
• 通过在再生核希尔伯特空间中表示图像强度和深度数据，实现完全解析的梯度计算。
• 将基于能量的直接方法推广至连续函数形式，消除对数值微分和显式数据关联的依赖。
• 通过利用图像相关性的稀疏化核表示，实现在低纹理环境下的鲁棒性能。
• 为SLAM系统提供基础，支持可并行化的半密集跟踪能力。

提出的方法

• 该方法将传感器配准问题建模为在再生核希尔伯特空间中，对RGB-D测量数据定义的两个函数之间的内积最大化。
• 通过对应李代数中流的积分，表述SE(n)李群对3D数据的作用，实现连续的变换估计。
• 该框架采用图像强度和深度的连续函数表示，避免依赖像素网格，实现分辨率无关的处理。
• 利用核的性质，以闭式推导能量函数的梯度，从而无需依赖数值图像梯度。
• 通过将小于1e-3的值设为零，对核矩阵进行稀疏化处理，同时保持计算效率和几何相关性结构。
• 该方法利用边缘检测获得的半密集点云以及有序深度数据中的一一对应关系，实现高效计算。

实验结果

研究问题

• RQ1 能否开发一种与图像分辨率无关、且避免数值微分的直接视觉里程计的连续表述？
• RQ2 SE(n)李群作用如何在RGB-D数据的函数表示上实现连续积分？
• RQ3 在再生核希尔伯特空间中采用函数表示，对梯度计算和低纹理场景下跟踪鲁棒性有何影响？
• RQ4 所提出的方法能否在无需显式数据关联的情况下，实现与现有直接方法相当或更优的性能？
• RQ5 稀疏化核结构如何在保持几何相关性的同时支持并行计算？

主要发现

• 所提出的方法通过在连续函数表示的RGB-D数据上操作，实现了分辨率无关的匹配，消除了对固定图像分辨率的依赖。
• 梯度计算完全为解析式，具有闭式推导，避免了数值微分，提升了计算稳定性。
• 该方法在跟踪精度上优于或等同于基线的OpenCV实现（Steinbrücker等人的方法），尤其在低纹理环境中表现更优。
• 核矩阵稀疏化的阈值1e-3能有效降低计算量，同时保持几何相关性，如图1所示的稀疏核模式所示。
• 图3中的累积误差分布表明，与基线相比，位置和姿态漂移更低，尤其在具有挑战性的序列中表现更优。
• 该框架天然支持并行化，支持半密集跟踪，可在CPU和GPU上实现实时性能。