[论文解读] Direct Sparse Odometry

Jakob Engel, Vladlen Koltun+1 more|arXiv (Cornell University)|Jul 9, 2016

Robotics and Sensor-Based Localization参考文献 22被引用 65

一句话总结

本文提出直接稀疏里程计（DSO），一种实时单目视觉里程计系统，通过在稀疏、梯度丰富的图像点上直接优化光度误差，而不依赖关键点或几何先验。通过整合完整的光度校准以及联合优化逆深度与相机运动，DSO 在具备全局快门的校准良好相机上，相较于最先进间接与直接方法，实现了更优的精度与鲁棒性。

ABSTRACT

We propose a novel direct sparse visual odometry formulation. It combines a fully direct probabilistic model (minimizing a photometric error) with consistent, joint optimization of all model parameters, including geometry -- represented as inverse depth in a reference frame -- and camera motion. This is achieved in real time by omitting the smoothness prior used in other direct methods and instead sampling pixels evenly throughout the images. Since our method does not depend on keypoint detectors or descriptors, it can naturally sample pixels from across all image regions that have intensity gradient, including edges or smooth intensity variations on mostly white walls. The proposed model integrates a full photometric calibration, accounting for exposure time, lens vignetting, and non-linear response functions. We thoroughly evaluate our method on three different datasets comprising several hours of video. The experiments show that the presented approach significantly outperforms state-of-the-art direct and indirect methods in a variety of real-world settings, both in terms of tracking accuracy and robustness.

研究动机与目标

• 开发一种直接稀疏视觉里程计系统，避免使用关键点检测器与几何先验，同时保持实时性能。
• 通过采用完全直接的光度误差模型，联合优化相机运动与三维几何，提升跟踪精度与鲁棒性。
• 将完整的光度校准（曝光时间、暗角、非线性响应）集成到里程计流程中，以增强测量一致性。
• 证明在现代校准良好的相机上，直接稀疏方法可超越间接方法，尤其在低纹理或挑战性光照条件下。
• 表明省略几何平滑先验可更充分地利用所有图像梯度，包括边缘与平滑区域，而不损失稳定性。

提出的方法

• 采用完全直接的概率模型，最小化连续帧之间图像强度的光度误差，无需依赖特征匹配。
• 通过非线性优化联合优化所有参数——相机位姿、稀疏三维点的逆深度以及光度校准参数。
• 在图像中均匀采样像素，优先选择具有强度梯度的区域（如边缘、纹理丰富区域），而非依赖角点检测器。
• 整合完整的光度校准：曝光时间、镜头暗角与非线性响应函数，提升测量一致性。
• 通过在小局部邻域内评估光度误差来稳定优化，避免其他直接方法中使用的几何平滑先验。
• 采用增量式边缘化与状态消除策略，通过丢弃旧的、相关性较低的帧与点，保持实时性能。

实验结果

研究问题

• RQ1 直接稀疏视觉里程计系统是否能在不使用几何先验的情况下，超越最先进间接方法的精度与鲁棒性？
• RQ2 完整的光度校准是否显著提升直接里程计性能，尤其是与标准亮度恒定假设相比？
• RQ3 直接方法是否能在不依赖关键点检测器的前提下，利用所有梯度丰富的图像区域（而不仅是角落）实现实时性能？
• RQ4 省略几何平滑先验对直接稀疏里程计中优化稳定性与收敛性有何影响？
• RQ5 直接方法的性能在多大程度上依赖于相机硬件质量，如全局快门与精确的镜头校准？

主要发现

• DSO 在多个数据集上显著优于最先进间接方法（如 ORB-SLAM、PTAM）与直接方法（如 LSD-SLAM），在跟踪精度与鲁棒性方面表现更优。
• 通过避免几何先验并采用高效的像素采样与增量式边缘化，DSO 在标准硬件上实现了实时性能。
• 使用所有梯度丰富的像素而非仅角落点，可显著提升跟踪精度，即使点数稀疏。
• 光度校准显著提升性能，尤其在挑战性光照条件下，证明标准亮度恒定假设不足。
• 直接方法对光度噪声更具鲁棒性，并在校准良好的相机上实现更高精度，而间接方法对滚动快门或校准不佳等几何失真更具鲁棒性。
• 该方法成功重建了与活跃点数量成比例密度的三维点云，自然捕捉边缘与平滑区域，即使在低纹理场景中，间接方法失效时仍能有效工作。