[论文解读] Aerial Map-Based Navigation Using Semantic Segmentation and Pattern Matching

Youngjoo Kim|arXiv (Cornell University)|Jul 1, 2021

Robotics and Sensor-Based Localization参考文献 17被引用 4

一句话总结

本文提出了一种针对无人飞机的鲁棒、基于地图的导航系统，利用语义分割从航拍图像中提取高层对象标签（例如道路、建筑物），并通过与地图数据库中的标签进行基于标签的模式匹配来估计绝对水平位置。该方法在无需相机模型或高度数据的情况下，于仿真中实现了亚米级精度，证明了在存在真实传感器和处理误差情况下的可行性。

ABSTRACT

This paper proposes a novel approach to map-based navigation system for unmanned aircraft. The proposed system attempts label-to-label matching, not image-to-image matching, between aerial images and a map database. The ground objects can be labelled by deep learning approaches and the configuration of the objects is used to find the corresponding location in the map database. The use of the deep learning technique as a tool for extracting high-level features reduces the image-based localization problem to a pattern matching problem. This paper proposes a pattern matching algorithm that does not require altitude information or a camera model to estimate the absolute horizontal position. The feasibility analysis with simulated images shows the proposed map-based navigation can be realized with the proposed pattern matching algorithm and it is able to provide positions given the labelled objects.

研究动机与目标

• 开发一种利用公开可用地图数据库的鲁棒、无GNSS导航系统，适用于无人飞机。
• 克服视觉导航中基于图像匹配的局限性，如光照变化、尺度变化和季节性差异。
• 通过使用语义标签而非原始图像像素，减少对高分辨率数字高程模型（DEM）或昂贵高度计的依赖。
• 通过利用深度学习提取的特征将图像匹配转化为模式匹配问题，实现高效且可扩展的导航。
• 通过模拟数据验证所提方法在真实传感器和处理误差下的可行性。

提出的方法

• 使用语义分割在航拍图像和地图数据库中对地物对象（例如道路、建筑物）进行标注，提取高层空间配置。
• 将定位问题视为图像中带标签对象配置与地图之间模式匹配的任务，而非图像到图像的匹配。
• 采用一种模式匹配算法，利用带标签对象之间的相对空间关系来估计绝对水平位置，无需相机模型或高度信息。
• 应用基于阈值的匹配策略，参数包括 N_min（最小匹配点数）、δθ（角度阈值）和 δr（距离阈值），以平衡误报与拒绝率。
• 模拟真实误差：姿态误差（俯仰/滚转）、像素级定位误差以及变化的视场角（FOV），以测试鲁棒性。
• 使用蒙特卡洛模拟，通过500个随机真实位置评估在多种误差和FOV条件下的性能。

实验结果

研究问题

• RQ1 在无GNSS条件下，基于标签的航拍图像与地图数据库之间的模式匹配能否实现可靠的绝对水平定位？
• RQ2 在模拟飞行条件下，该方法对姿态误差、像素级定位噪声和视场角变化的鲁棒性如何？
• RQ3 检测到的带标签对象数量增加在多大程度上能提升匹配成功率并降低估计误差？
• RQ4 在真实传感器和处理误差下，该方法能否保持高精度和低误报率？
• RQ5 缺乏相机模型或高度信息是否显著降低定位性能？

主要发现

• 该模式匹配算法在仿真中实现了亚米级水平位置估计误差，最佳情况下仅因0.15°姿态误差导致0.26m误差。
• 在35°视场角和标准误差水平（0.05°姿态误差，1像素像素误差）下，该方法的匹配拒绝率为4.4%，误报率为1.8%，表明具有较强的鲁棒性。
• 当像素误差增加至3像素时，误报率上升至12.4%（第三组情形），但可通过使用区域特定先验知识加以缓解。
• 更大的视场角（45°）使对象数量从约17个增加至约34个，尽管像素误差更高，但拒绝率降至0%，误报率降至1.8%。
• 姿态误差对匹配性能影响极小，因为小幅度俯仰/滚转偏差下带标签对象的相对配置保持稳定。
• 该方法通过将图像数据简化为紧凑且抗噪声的语义标签，展示了实现实时、低复杂度导航的可行性。