[论文解读] Localizing Discriminative Visual Landmarks for Place Recognition

Zhe Xin, Yinghao Cai+6 more|arXiv (Cornell University)|Apr 14, 2019

Advanced Image and Video Retrieval Techniques参考文献 22被引用 7

一句话总结

本文提出了一种弱监督的地标定位网络（LLN），用于识别具有区分性的视觉地标（如建筑物和植被），以实现鲁棒的视觉位置识别。仅使用图像级别标注，LLN生成显著性图以突出关键区域，从而实现更精确的相似性匹配；该方法在具有显著外观和视角变化的挑战性数据集上达到了最先进性能。

ABSTRACT

We address the problem of visual place recognition with perceptual changes. The fundamental problem of visual place recognition is generating robust image representations which are not only insensitive to environmental changes but also distinguishable to different places. Taking advantage of the feature extraction ability of Convolutional Neural Networks (CNNs), we further investigate how to localize discriminative visual landmarks that positively contribute to the similarity measurement, such as buildings and vegetations. In particular, a Landmark Localization Network (LLN) is designed to indicate which regions of an image are used for discrimination. Detailed experiments are conducted on open source datasets with varied appearance and viewpoint changes. The proposed approach achieves superior performance against state-of-the-art methods.

研究动机与目标

• 解决在光照、天气和视角变化等严重感知变化下的视觉位置识别挑战。
• 克服整体特征（对视角敏感）和传统局部特征（缺乏区分性选择）的局限性。
• 仅识别并定位对位置区分具有显著贡献的最具代表性的视觉地标（如建筑物和植被）。
• 开发一种仅需图像级别标注的弱监督方法，避免昂贵的区域级别标注。
• 将地标定位集成到ORB-SLAM中，以提升长期机器人自主性中的重定位性能。

提出的方法

• 设计一种地标定位网络（LLN），输出空间激活图，指示特征图中每个局部特征的显著性。
• 使用度量学习和三元组损失端到端训练LLN，以最大化不同位置间的相似性并最小化同一位置内的相似性。
• 应用困难负样本挖掘，使训练聚焦于具有挑战性的样本，从而在外观变化下提升泛化能力。
• 从激活图中提取最显著的k个区域（地标）以提取局部特征用于图像匹配。
• 通过仅交叉匹配具有区分性的地标来实现图像匹配，从而减少来自背景或模糊区域的误报。
• 通过用基于地标约束的匹配（pLLN+mLLN）替代关键帧搜索与匹配，将该方法集成到ORB-SLAM中，提升姿态估计的鲁棒性。

实验结果

研究问题

• RQ1 弱监督深度学习模型是否能在无需边界框或分割标注的情况下有效定位具有区分性的视觉地标？
• RQ2 仅定位最具代表性的图像区域（如建筑物、植被）如何提升视觉位置识别在外观和视角变化下的鲁棒性？
• RQ3 在严重环境变化下，基于地标匹配在多大程度上优于整体特征匹配和传统词袋方法？
• RQ4 所提出的模型能否有效集成到ORB-SLAM等现有SLAM系统中以提升重定位性能？
• RQ5 地标定位的计算成本与完整图像匹配相比如何，是否能保持高精度？

主要发现

• 所提出的LLN方法在具有显著外观和视角变化的基准数据集上表现优异，优于最先进方法。
• ORB-SLAM中的pLLN+mLLN变体相比基线pDBoW+mDBoW方法，将重定位成功率提高了约两倍。
• 通过LLN进行地标提取仅需每张图像16毫秒，且地标匹配速度显著快于完整图像匹配（75个地标时分别为13毫秒 vs. 46毫秒），展现出高效率。
• 该方法能有效定位建筑物和植被等具有区分性的区域，这些区域在不同光照、天气和季节条件下均保持稳定。
• 即使在区域约束下，ORB特征对感知变化仍较敏感，限制了6-DOF姿态估计的鲁棒性，尽管候选选择已得到改善。
• 训练过程中仅使用图像级别标注，使模型能够学习通用且可迁移的视觉地标，而无需昂贵的实例级别标注。