[论文解读] Online Temporal Calibration for Monocular Visual-Inertial Systems

Tong Qin, Shaojie Shen|arXiv (Cornell University)|Aug 2, 2018

Advanced Vision and Imaging被引用 10

一句话总结

本文提出了一种用于单目视觉-惯性系统的在线时间同步校准方法，该方法在SLAM框架内联合估计时间偏移、相机与IMU状态以及三维特征位置。该方法即使在高达30ms的时间不同步情况下仍能实现高精度校准，优于最先进的离线校准工具，并在无需硬件同步的情况下实现了真实场景下的鲁棒性能。

ABSTRACT

Accurate state estimation is a fundamental module for various intelligent applications, such as robot navigation, autonomous driving, virtual and augmented reality. Visual and inertial fusion is a popular technology for 6-DOF state estimation in recent years. Time instants at which different sensors' measurements are recorded are of crucial importance to the system's robustness and accuracy. In practice, timestamps of each sensor typically suffer from triggering and transmission delays, leading to temporal misalignment (time offsets) among different sensors. Such temporal offset dramatically influences the performance of sensor fusion. To this end, we propose an online approach for calibrating temporal offset between visual and inertial measurements. Our approach achieves temporal offset calibration by jointly optimizing time offset, camera and IMU states, as well as feature locations in a SLAM system. Furthermore, the approach is a general model, which can be easily employed in several feature-based optimization frameworks. Simulation and experimental results demonstrate the high accuracy of our calibration approach even compared with other state-of-art offline tools. The VIO comparison against other methods proves that the online temporal calibration significantly benefits visual-inertial systems. The source code of temporal calibration is integrated into our public project, VINS-Mono.

研究动机与目标

• 为解决低成本、自行组装的视觉-惯性系统中相机与IMU传感器之间的时间不同步这一关键问题。
• 开发一种不依赖硬件同步或时间偏移先验知识的在线校准方法。
• 将时间同步校准集成到通用的基于优化的SLAM框架中，以支持实时部署。
• 证明在线校准在不同时间偏移下能显著提升运动估计的精度。
• 为VINS-Mono提供开源集成，以促进更广泛的应用与可复现性。

提出的方法

• 该方法将时间偏移建模为需在因子图优化框架中在线估计的未知常数，与相机位姿、IMU偏差及三维特征位置联合估计。
• 提出一种新型因子，将时间偏移作为视觉-惯性代价函数中的参数，实现与其他系统状态的联合优化。
• 该方法利用标准的视觉与惯性因子，但扩展了其在测量预测与残差计算中对时间偏移的处理。
• 通过高斯-牛顿法进行迭代优化，实现在真实实验中数秒内完成收敛的时间偏移估计。
• 该框架设计为模块化，可与现有基于特征的视觉-惯性SLAM系统（如VINS-Mono）兼容。
• 通过合成仿真与具有受控时间偏移的真实世界实验对方法进行了验证。

实验结果

研究问题

• RQ1 在未知且变化的时间偏移下，在线时间同步校准能否显著提升单目视觉-惯性状态估计的精度？
• RQ2 与最先进的离线校准工具相比，该方法在时间偏移估计精度方面表现如何？
• RQ3 在线时间同步校准在多大程度上提升了系统鲁棒性并减少了真实世界运动估计中的漂移？
• RQ4 该方法能否在不修改架构的前提下有效集成到现有的基于优化的视觉-惯性SLAM框架中？
• RQ5 在实际场景中，时间偏移估计的收敛速度如何？

主要发现

• 即使在高达30ms的大偏移下，所提方法的时间偏移校准精度仍可与最先进的离线工具相媲美。
• 在不同时间偏移（5ms与30ms）下，相对位姿误差基本保持恒定，表明对时间不同步具有强鲁棒性。
• 相比之下，未进行时间校准的OKVIS在时间偏移增大时表现出显著的相对位姿误差增加，且在30ms时出现性能退化甚至发散。
• 在真实世界实验中，估计的时间偏移在数秒内收敛至稳定值，手持测试中测得的偏移为12.74ms。
• 所提方法在平移与旋转估计方面均优于OKVIS，表现出更小的漂移与误差增长。
• 将在线时间同步校准集成到VINS-Mono中后，系统性能在不同初始时间偏移下均保持一致，证明了其实际应用价值。