[论文解读] A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors

Tong Qin, Jie Pan+2 more|arXiv (Cornell University)|Jan 11, 2019

Robotics and Sensor-Based Localization参考文献 29被引用 296

一句话总结

提出一种通用的基于优化的框架，将多种传感器类型（视觉与惯性）作为位姿图中的残差因子进行融合，从而实现本地里程计的灵活传感器组合并具备实时性能。

ABSTRACT

Nowadays, more and more sensors are equipped on robots to increase robustness and autonomous ability. We have seen various sensor suites equipped on different platforms, such as stereo cameras on ground vehicles, a monocular camera with an IMU (Inertial Measurement Unit) on mobile phones, and stereo cameras with an IMU on aerial robots. Although many algorithms for state estimation have been proposed in the past, they are usually applied to a single sensor or a specific sensor suite. Few of them can be employed with multiple sensor choices. In this paper, we proposed a general optimization-based framework for odometry estimation, which supports multiple sensor sets. Every sensor is treated as a general factor in our framework. Factors which share common state variables are summed together to build the optimization problem. We further demonstrate the generality with visual and inertial sensors, which form three sensor suites (stereo cameras, a monocular camera with an IMU, and stereo cameras with an IMU). We validate the performance of our system on public datasets and through real-world experiments with multiple sensors. Results are compared against other state-of-the-art algorithms. We highlight that our system is a general framework, which can easily fuse various sensors in a pose graph optimization. Our implementations are open source\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}.

研究动机与目标

• 阐述需要一个灵活的里程计框架以容纳任意传感器组合，从而提高鲁棒性和实用性。
• 提出一种基于优化的公式化方法，其中每个传感器产生一个残差因子，贡献于一个统一的位姿图。
• 用视觉和惯性传感器演示该框架，并在公开数据集和真实世界实验中进行验证。
• 提供开源代码以促进社区采用和扩展。

提出的方法

• 将里程计问题建模为最大似然估计，导致在滑动窗口上的非线性最小二乘问题（捆绑调整）。
• 将每个传感器测量表示为位姿图中的通用因子，状态包括机器人位姿、速度、偏置和地标深度。
• 使用相机因子（单目和立体）来获得视觉重投影残差，使用IMU预积分因子来约束相邻帧之间的惯性约束。
• 引入边缘化（Schur补）以通过裁剪旧状态来限制计算量，同时保留作为先验的信息。
• 在迭代优化循环中使用求解器(Ceres) 求解所得的稀疏线性系统，直到收敛。
• 注意该框架可通过添加相应的残差因子扩展至其他传感器。

实验结果

研究问题

• RQ1 一个基于优化的单一框架是否能够在不重新设计估计器的情况下支持多种传感器组成来实现本地里程计？
• RQ2 在滑动窗口BA中结合IMU预积分和相机重投影因子，在立体、单目+IMU和立体+IMU配置下的性能如何？
• RQ3 边缘化对实际世界和公开数据集的计算效率与估计精度有何影响？
• RQ4 所提出框架对传感器故障或被替代为其他传感器类型的鲁棒性有多高？

主要发现

• 该框架支持三种传感器套件：立体相机、带IMU的单目相机，以及立体相机配合IMU。
• IMU集成显著改善运动跟踪并降低漂移。
• 在EuRoC数据集上的实验表明，在使用IMU配置时，该框架在多段序列中通常优于OKVIS。
• 真实世界的室外实验表明，在该IMU包含配置下精度优于仅立体设置。
• 提供开源实现（VINS-Fusion），便于社区使用和扩展。
• 该方法在不同传感器配置下保持鲁棒性，并且通过添加新的残差因子可以容纳其他传感器类型。