[论文解读] A Photometrically Calibrated Benchmark For Monocular Visual Odometry

Jakob Engel, Vladyslav Usenko+1 more|arXiv (Cornell University)|Jul 9, 2016

Robotics and Sensor-Based Localization参考文献 17被引用 150

一句话总结

介绍了 TUM monoVO 基准测试，包含 50 条真实世界单目 VO/SLAM 序列，进行光度校准，能够通过回环漂移进行评估，而无需完整的真实轨迹。

ABSTRACT

We present a dataset for evaluating the tracking accuracy of monocular visual odometry and SLAM methods. It contains 50 real-world sequences comprising more than 100 minutes of video, recorded across dozens of different environments -- ranging from narrow indoor corridors to wide outdoor scenes. All sequences contain mostly exploring camera motion, starting and ending at the same position. This allows to evaluate tracking accuracy via the accumulated drift from start to end, without requiring ground truth for the full sequence. In contrast to existing datasets, all sequences are photometrically calibrated. We provide exposure times for each frame as reported by the sensor, the camera response function, and dense lens attenuation factors. We also propose a novel, simple approach to non-parametric vignette calibration, which requires minimal set-up and is easy to reproduce. Finally, we thoroughly evaluate two existing methods (ORB-SLAM and DSO) on the dataset, including an analysis of the effect of image resolution, camera field of view, and the camera motion direction.

研究动机与目标

• 提供一个覆盖多样环境的大规模单目 VO/SLAM 基准，以在没有完整真实位姿的情况下实现对鲁棒跟踪精度的评估。
• 引入光度校准（响应函数与暗角）及曝光时间，以反映真实传感器流水线。
• 提出基于回环闭合的评估方法，测量长序列中的累计漂移。
• 提供简单、可重复的非参数暗角校准与光度响应校准程序。
• 发布代码、原始数据和评估工具，促进标准化基准测试。

提出的方法

• 使用两颗鱼眼镜头拍摄，总计 105 分钟的 50 条序列，帧率各不相同。
• 用适用于鱼眼光学的 FOV 畸变模型进行几何标定。
• 从多曝光静态场景中估计相机响应函数 G 和暗角图 V 等光度校准参数。
• 采用非参数方法进行暗角校准，所需设置极少。
• 定义基于回环闭合的评估方法，将起始段和结束段对齐以测量漂移，与完整真实轨迹无关。
• 在数据集上评估 ORB-SLAM 和 Direct Sparse Odometry (DSO)，在不同分辨率、FOV 和运动模式下进行测试。

实验结果

研究问题

• RQ1 光度校准（响应函数与暗角）如何影响真实世界序列上的单目 VO/SLAM 性能？
• RQ2 图像分辨率、视场和相机运动方向对在大规模、多样化数据集上 VO/SLAM 的精度与鲁棒性有何影响？
• RQ3 基于回环闭合的漂移度量是否能够在没有完整 ground-truth 数据的情况下对单目 VO/SLAM 方法进行可靠比较？
• RQ4 在评估光度校准时，像 ORB-SLAM 和 DSO 这样的前沿方法在室内外多样环境中的表现如何？
• RQ5 在实际设置中使用非参数暗角校准方法的好处是什么？

主要发现

• 该数据集包含 50 条序列，总长 105 分钟的视频和曝光时间元数据，能够在没有完整 ground-truth 轨迹的情况下进行漂移评估。
• 光度校准包括相机响应和密集暗角图，提高了对直接法的评估真实感。
• 评估了两种基线方法（ORB-SLAM 与 DSO），发现对视场、分辨率和运动方向敏感，并在多次运行中给出定量比较。
• 评估框架展示了漂移在序列中的位置如何影响误差指标，倡导将对齐误差作为鲁棒的总体度量。
• 结果表明较小的视场会降低两种方法的精度，而直接法对分辨率的敏感程度不同（DSO 影响较小）。
• 论文提供了开源代码、原始数据和用于复现实验光度校准与评估的脚本。