[论文解读] Laser map aided visual inertial localization in changing environment

Xiaqing Ding, Yue Wang+4 more|arXiv (Cornell University)|Mar 3, 2018

Robotics and Sensor-Based Localization参考文献 24被引用 5

一句话总结

本文提出了一种激光地图辅助的视觉惯性定位框架，采用混合捆绑调整方法，联合优化视觉惯性里程计状态与相对于先验激光雷达地图的姿态对齐，显著提升了在环境变化场景下的鲁棒性。该方法通过融合多时段数据提取显著性压缩激光地图，在跨季节、双向的室外定位中实现了最先进精度，与仅刚性或全图方法相比，误差最高降低49%。

ABSTRACT

Long-term visual localization in outdoor environment is a challenging problem, especially faced with the cross-seasonal, bi-directional tasks and changing environment. In this paper we propose a novel visual inertial localization framework that localizes against the LiDAR-built map. Based on the geometry information of the laser map, a hybrid bundle adjustment framework is proposed, which estimates the poses of the cameras with respect to the prior laser map as well as optimizes the state variables of the online visual inertial odometry system simultaneously. For more accurate cross-modal data association, the laser map is optimized using multi-session laser and visual data to extract the salient and stable subset for localization. To validate the efficiency of the proposed method, we collect data in south part of our campus in different seasons, along the same and opposite-direction route. In all sessions of localization data, our proposed method gives satisfactory results, and shows the superiority of the hybrid bundle adjustment and map optimization.

研究动机与目标

• 解决在季节性和动态变化环境中长期视觉定位的挑战。
• 克服因外观变化和半静态物体导致的跨时段视觉惯性定位中数据关联性差的问题。
• 开发一种鲁棒、低成本的定位框架，利用预先构建的激光雷达地图提升视觉惯性里程计性能。
• 通过从多时段激光与视觉数据中提取紧凑、显著的子集，降低计算与存储成本。
• 在真实环境条件下（包括积雪、停靠车辆和光照变化）提升定位精度与稳定性。

提出的方法

• 通过混合捆绑调整框架，将预构建的激光雷达地图与在线视觉惯性里程计（VIO）集成，联合优化VIO状态与相机相对于激光地图的姿态。
• 在捆绑调整框架中对视觉地图与相机-激光雷达对齐的不确定性进行建模，以提升估计的鲁棒性。
• 应用多时段数据挖掘技术，识别并提取激光与视觉数据中的显著、稳定特征，形成压缩的、动态过滤的激光地图。
• 采用基于频率的混合捆绑调整策略，交替执行非刚性（用于地图对齐）与刚性（用于VIO状态优化）的优化步骤。
• 离线优化激光地图，利用多时段数据去除临时物体，提升长期一致性。
• 实现一种跨模态数据关联策略，利用激光雷达地图中的几何特征引导视觉特征匹配。

实验结果

研究问题

• RQ1 混合捆绑调整框架能否联合优化视觉惯性里程计状态与相对于先验激光雷达地图的相机姿态，从而提升在环境变化场景下的定位精度？
• RQ2 基于多时段数据的显著性地图优化如何改善跨季节场景下的数据关联性并降低定位误差？
• RQ3 在长期定位中，非刚性与刚性捆绑调整的最优频率比为何种组合，可在精度与计算效率之间实现最佳平衡？
• RQ4 在动态与季节性变化条件下，该方法与全图法及仅刚性方法相比，在鲁棒性与误差性能方面表现如何？
• RQ5 所提取的显著性激光地图是否能在降低存储与计算负载的同时保持高定位精度？

主要发现

• 采用1:5频率（一次非刚性调整对应五次刚性调整）的混合捆绑调整，在五个会话中实现了0.415 m的最佳平均绝对轨迹误差（ATE），优于纯刚性方法（0.815 m）与纯非刚性方法（0.693 m）。
• 在2017年8月23日的会话中，全图刚性方法无法完整运行整个轨迹，而过滤图混合方法实现了0.315 m的ATE，展现出更优的鲁棒性。
• 在具有挑战性的会话中，与全图相比，过滤图将定位误差最高降低了49%，尤其在动态物体与季节性变化导致性能下降的场景下表现显著。
• 显著性地图提取方法成功过滤了临时元素（如停靠车辆与积雪），生成了更稳定、更精确的参考地图。
• 所提方法在跨季节与双向轨迹中均实现了稳定且低误差的表现（平均ATE 0.415 m），证明了其对环境变化的鲁棒性。
• 即使在积雪覆盖地形与严重遮挡等极端条件下，该方法仍保持了稳定性能，如数据集中视觉示例所示。