[论文解读] Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect

Nan Yang, Rui Wang+2 more|arXiv (Cornell University)|May 11, 2017

Robotics and Sensor-Based Localization参考文献 21被引用 9

一句话总结

本文系统评估了摄影测校准、运动偏差和滚动快门效应对最先进的单目视觉里程计方法（直接法 DSO、半直接法 SVO 和基于特征的方法 ORB-SLAM）的影响。研究揭示了反直觉的发现，例如：摄影测校准对基于特征的方法益处有限，除非与主动相机控制结合使用；同时表明，亚像素精炼可显著提升 ORB-SLAM 的性能，而直接法和半直接法在真实条件下对滚动快门失真更为敏感。

ABSTRACT

Monocular visual odometry (VO) and simultaneous localization and mapping (SLAM) have seen tremendous improvements in accuracy, robustness and efficiency, and have gained increasing popularity over recent years. Nevertheless, not so many discussions have been carried out to reveal the influences of three very influential yet easily overlooked aspects: photometric calibration, motion bias and rolling shutter effect. In this work, we evaluate these three aspects quantitatively on the state of the art of direct, feature-based and semi-direct methods, providing the community with useful practical knowledge both for better applying existing methods and developing new algorithms of VO and SLAM. Conclusions (some of which are counter-intuitive) are drawn with both technical and empirical analyses to all of our experiments. Possible improvements on existing methods are directed or proposed, such as a sub-pixel accuracy refinement of ORB-SLAM which boosts its performance.

研究动机与目标

• 系统评估摄影测校准、运动偏差和滚动快门效应对现代单目视觉里程计（VO）系统的影响。
• 为改进现有 VO/SLAM 算法提供实用见解，并指导未来算法设计。
• 在真实和模拟条件下评估直接法、半直接法和基于特征的方法的性能，包括具有高速读出速度的现代工业相机。
• 识别并分析非直观行为，例如基于特征的方法在正向与反向运行时的性能差异，以及高速相机下滚动快门影响有限的原因。
• 提出实用改进措施，包括针对 ORB-SLAM 的亚像素精度精炼模块，并通过定量实验加以验证。

提出的方法

• 使用真实和模拟数据集，对 DSO（直接法）、SVO 2.0（半直接法）和 ORB-SLAM（基于特征的方法）进行摄影测校准的定量评估。
• 实现正向和反向视觉里程计运行以分析运动偏差，重点关注深度表示、点选择和离散化伪影。
• 在合成滚动快门序列（ICL-NUIM）和来自 Cityscapes 数据集（法兰克福序列）的真实滚动快门序列上进行评估。
• 利用高速工业相机评估滚动快门效应在真实世界中的影响，尤其关注读出速度较快的情况。
• 设计并实现 ORB-SLAM 的亚像素精度精炼模块，以提升特征匹配的精度。
• 对各类方法的性能差异进行实证与技术分析，重点分析场景纹理、亮度变化和相机响应函数的影响。

实验结果

研究问题

• RQ1 摄影测校准如何影响直接法、半直接法和基于特征的单目视觉里程计方法的性能？
• RQ2 为何基于特征的视觉里程计在正向与反向运行时表现出显著性能差异？其根本原因是什么？
• RQ3 滚动快门效应如何影响直接法、半直接法和基于特征的视觉里程计系统的准确性，特别是在真实高速相机条件下的表现？
• RQ4 在何种条件下滚动快门效应会成为视觉里程计性能下降的主要因素，而在何种情况下可忽略不计？
• RQ5 对特征提取与匹配进行亚像素精炼，能否显著提升基于特征的视觉里程计系统（如 ORB-SLAM）的性能？

主要发现

• 摄影测校准显著提升直接法（如 DSO）的性能，但对基于特征的方法（如 ORB-SLAM）影响有限，除非与主动相机控制结合以保持图像质量一致。
• 基于特征的方法在正向与反向运行时表现出显著的运动偏差，主要源于深度表示、点管理以及特征匹配中的离散化伪影。
• 滚动快门效应对直接法和半直接法的性能影响大于基于特征的方法；但当像素读出速度较高（如现代工业相机）时，其影响变得可忽略，即使对直接法也是如此。
• 在低纹理场景（如室内走廊）中，直接法和半直接法（DSO 和 SVO）在滚动快门条件下仍优于 ORB-SLAM，因其能更有效地利用图像强度梯度。
• 所提出的 ORB-SLAM 亚像素精度精炼模块显著提升了其性能，表明精细的特征匹配可弥补基于特征方法的固有局限。
• 来自 Cityscapes 数据集的真实滚动快门序列表明，ORB-SLAM 在强旋转或遮挡条件下会失效，说明其失败并非主要由滚动快门引起，而是由于特征不稳定。