[论文解读] ALT-Pilot: Autonomous navigation with Language augmented Topometric maps

Mohammad Omama, Pranav Inani+5 more|arXiv (Cornell University)|Oct 3, 2023

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

ALT-Pilot 通过使用语言增强的拓扑地图——即结合自然语言描述地标信息的 OSM 道路网络——实现了无需高清 LiDAR 地图的道路网络自主导航。它利用视觉-语言模型实现多模态定位，相较于最先进的系统 MapLite，定位精度提升 3 倍，目标可达性提升 5 倍。

ABSTRACT

We present an autonomous navigation system that operates without assuming HD LiDAR maps of the environment. Our system, ALT-Pilot, relies only on publicly available road network information and a sparse (and noisy) set of crowdsourced language landmarks. With the help of onboard sensors and a language-augmented topometric map, ALT-Pilot autonomously pilots the vehicle to any destination on the road network. We achieve this by leveraging vision-language models pre-trained on web-scale data to identify potential landmarks in a scene, incorporating vision-language features into the recursive Bayesian state estimation stack to generate global (route) plans, and a reactive trajectory planner and controller operating in the vehicle frame. We implement and evaluate ALT-Pilot in simulation and on a real, full-scale autonomous vehicle and report improvements over state-of-the-art topometric navigation systems by a factor of 3x on localization accuracy and 5x on goal reachability

研究动机与目标

• 解决高清 LiDAR 地图在自动驾驶系统中可扩展性和成本受限的问题。
• 实现在不依赖度量精确地图的前提下，对道路网络中任意目的地的精确定位与导航。
• 提出一种实用的、低存储开销的地图表示方法，仅基于拓扑道路网络上的语言标注地标。
• 开发一种鲁棒的多模态定位系统，融合 LiDAR、RGB 和语言模态，实现实时车辆位姿估计。
• 通过语言-地标匹配实现对自然语言目标（如“找一个可以坐的地方”）的开放词汇导航。

提出的方法

• 通过在 OpenStreetMap (OSM) 道路网络中添加带有地理标签的、仅包含文本的持久地标描述（如标识牌、信号灯）来构建语言增强的拓扑地图。
• 为每个语言地标预先计算 CLIP 嵌入，以实现视觉与语言模态之间的交叉注意力。
• 在推理阶段，从车载 RGB 相机中提取每像素的 CLIP 图像嵌入，并将其用于递归贝叶斯估计框架以实现车辆定位。
• 将基于 LiDAR 的道路分割和代价图与视觉-语言特征融合，以提升位姿估计的鲁棒性。
• 将定位结果集成到全局规划与反应式轨迹控制模块中，实现端到端导航。
• 使用大型语言模型（GPT-4）将开放式自然语言目标解析为结构化的地标查询，以实现目标导向导航。

Figure 2 : Pipeline : ALT-Pilot uses OSM maps augmented with language descriptions of landmarks. We precompute the CLIP (language) descriptors for each of these landmarks. At inference time, the LiDAR and Camera information is used to generate per-pixel CLIP (image) descriptors used in our multimoda

实验结果

研究问题

• RQ1 是否可以通过仅依赖拓扑道路网络和稀疏语言地标，在无需高清 LiDAR 地图的情况下实现自主导航？
• RQ2 视觉-语言模型在真实驾驶场景中，多大程度上能有效弥合视觉与语言模态之间的差距，从而提升定位精度？
• RQ3 当地标位置存在误差、出现误报或语言描述错误时，系统在多大程度上仍保持鲁棒性？
• RQ4 语言增强地图是否能够实现对语义描述目标（如“一个可以坐的地方”）的开放词汇导航？
• RQ5 与仅使用地图或仅使用视觉的基线相比，LiDAR、RGB 和语言模态的多模态融合在多大程度上提升了定位精度和目标可达性？

主要发现

• ALT-Pilot 的定位精度比 MapLite 高 3 倍，在 CARLA1 地图上的平均绝对位姿误差（APE）为 3.72 m，而 MapLite 为 10.3 m。
• 在闭环导航中，ALT-Pilot 将平均到目标距离减少了 5 倍，非交叉路口目标的平均距离为 1.57 m，而 MapLite 为 14.37 m（CARLA1 地图）。
• 系统对高达 50% 的误报或漏报地标仍保持鲁棒，APE 低于 5.89 m，但当错误率超过 80% 时性能显著下降。
• ALT-Pilot 的定位与目标到达速度更快，在真实世界数据中收敛至正确位姿的距离为 23.32 m，而 MapLite 为 73.1 m。
• 通过 LLM 解析，语言引导的导航能够成功规划通往开放词汇目标（如“一个可以坐的地方”）的路径，方法是将目标与相关地标匹配。
• 在网格状城市环境中，随着路径变长，地标多样性增加，语言地标显著提升了定位性能。

Figure 3 : Topological and Topometric localization on two CARLA maps. ALT-Pilot outperforms MapLite in both topological and topometric localization. Further, it’s more robust to noise in the map while MapLite is adversely affected by it. The impact of noise is more noticeable in the larger CARLA1 ma