[论文解读] Direct Visual Odometry using Bit-Planes

Hatem Alismail, Brett Browning+1 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 53被引用 8

一句话总结

本文提出一种直接视觉里程计方法，将一种新型二值描述子 Bit-Planes 集成到基于梯度的优化框架中，以克服直接方法中亮度恒定假设的局限。通过利用 Bit-Planes 的辐射度不变性，并证明其在最小二乘意义下等价于汉明距离，该方法在低光照、低纹理及光照剧烈变化的环境中实现了鲁棒的姿态估计，在具有挑战性的地下矿井数据集中，性能优于最先进的基于特征和直接的方法。

ABSTRACT

Feature descriptors, such as SIFT and ORB, are well-known for their robustness to illumination changes, which has made them popular for feature-based VSLAM\@. However, in degraded imaging conditions such as low light, low texture, blur and specular reflections, feature extraction is often unreliable. In contrast, direct VSLAM methods which estimate the camera pose by minimizing the photometric error using raw pixel intensities are often more robust to low textured environments and blur. Nonetheless, at the core of direct VSLAM is the reliance on a consistent photometric appearance across images, otherwise known as the brightness constancy assumption. Unfortunately, brightness constancy seldom holds in real world applications. In this work, we overcome brightness constancy by incorporating feature descriptors into a direct visual odometry framework. This combination results in an efficient algorithm that combines the strength of both feature-based algorithms and direct methods. Namely, we achieve robustness to arbitrary photometric variations while operating in low-textured and poorly lit environments. Our approach utilizes an efficient binary descriptor, which we call Bit-Planes, and show how it can be used in the gradient-based optimization required by direct methods. Moreover, we show that the squared Euclidean distance between Bit-Planes is equivalent to the Hamming distance. Hence, the descriptor may be used in least squares optimization without sacrificing its photometric invariance. Finally, we present empirical results that demonstrate the robustness of the approach in poorly lit underground environments.

研究动机与目标

• 解决在光照不良、纹理稀疏及光照不均匀环境中直接视觉里程计失效的问题，此时亮度恒定假设不再成立。
• 将特征描述子的辐射度不变性与直接方法的高效性及密集像素利用相结合。
• 开发一种与直接 VO 框架中基于梯度的优化兼容的二值描述子。
• 在真实世界具有挑战性的环境（如地下矿井）中展示方法的鲁棒性，这些环境中传统 VO 系统会失效。

提出的方法

• 提出 Bit-Planes，一种从图像比特平面导出的二值描述子，对单调强度变化具有不变性。
• 通过基于光度误差最小化的高斯-牛顿优化，将 Bit-Planes 集成到直接视觉里程计框架中。
• 证明 Bit-Planes 向量之间的平方欧氏距离在数学上等价于汉明距离，从而实现高效的最小二乘优化。
• 采用粗到精策略，结合多尺度图像金字塔，以提升收敛性和鲁棒性。
• 采用固定基线立体设置，并利用硬件加速的 SGM 进行实时的视差估计。
• 所有算法均使用真值深度图进行初始化，以隔离姿态估计误差与特征或深度提取失败的影响。

实验结果

研究问题

• RQ1 能否有效将二值描述子集成到直接视觉里程计流程中，以提升在严重光照变化下的鲁棒性？
• RQ2 使用 Bit-Planes 是否能使直接方法在传统直接法和基于特征的方法失效的低纹理、低光照环境中可靠运行？
• RQ3 Bit-Planes 向量之间的平方欧氏距离是否等价于汉明距离，从而确保与标准最小二乘优化的兼容性？
• RQ4 在极端光照条件下，所提出方法与最先进的直接法和基于特征的 VO 系统相比，在精度和鲁棒性方面表现如何？

主要发现

• 在 KITTI 基准测试中，与 VISO2 和 FOVIS 相比，所提方法在高速场景下显著降低了平移和旋转误差，此时大运动会降低直接方法的性能。
• Bit-Planes 在光照极差的地下矿井环境中实现了超过 400 米的鲁棒视觉里程计，三维地图中漂移极小。
• 在低纹理、低照度条件下，该方法优于传统直接法和基于特征的方法，这一结论通过地下矿井的真实数据得到验证。
• Bit-Planes 向量之间的平方欧氏距离在数学上等价于汉明距离，验证了在框架中使用标准最小二乘优化的可行性。
• 即使在自动相机设置导致图像强度分布非线性失真的情况下，该算法仍能保持高精度，这一结果在室外和室内测试序列中得到验证。
• 失败案例主要由近距离 LED 光源导致的图像过曝引起，表明未来工作需关注极端光照饱和问题。