[论文解读] Are State-of-the-art Visual Place Recognition Techniques any Good for Aerial Robotics?

Mubariz Zaffar, Ahmad Khaliq+4 more|arXiv (Cornell University)|Apr 16, 2019

Robotics and Sensor-Based Localization参考文献 53被引用 18

一句话总结

本文在两个无人机航拍数据集上评估了8种最先进的视觉位置识别（VPR）技术，以评估其在极端6-DOF视角变化下的性能、计算效率和内存需求。结果表明，虽然NetVLAD在匹配性能上表现最佳，CALC在能效方面最为出色，但所有方法均因航拍平台的限制而面临显著挑战，凸显了开发面向航拍优化的VPR系统的重要性。

ABSTRACT

Visual Place Recognition (VPR) has seen significant advances at the frontiers of matching performance and computational superiority over the past few years. However, these evaluations are performed for ground-based mobile platforms and cannot be generalized to aerial platforms. The degree of viewpoint variation experienced by aerial robots is complex, with their processing power and on-board memory limited by payload size and battery ratings. Therefore, in this paper, we collect $8$ state-of-the-art VPR techniques that have been previously evaluated for ground-based platforms and compare them on $2$ recently proposed aerial place recognition datasets with three prime focuses: a) Matching performance b) Processing power consumption c) Projected memory requirements. This gives a birds-eye view of the applicability of contemporary VPR research to aerial robotics and lays down the the nature of challenges for aerial-VPR.

研究动机与目标

• 评估为地面平台设计的SOTA VPR技术在高视角变化下的航拍机器人平台上的泛化能力。
• 分析在典型无人机资源约束下，SOTA VPR方法的计算与内存开销。
• 在新提出的航拍位置识别数据集上，对比具有6-DOF视角变化的VPR技术。
• 量化处理功耗消耗和在电池供电的航拍机器人上实际部署的预期内存需求。
• 识别最适合长期、实时自主飞行的VPR技术。

提出的方法

• 本研究在两个航拍数据集（Shopping Street 1 和 Shopping Street 2）上评估了8种SOTA VPR技术——AlexNet、NetVLAD、AMOSNet、HybridNet、Cross-Region-BOW、R-MAC、Region-VLAD 和 CALC。
• 所有方法均部署在统一的硬件平台（Intel Xeon Gold 6134 CPU）上，以确保在匹配性能、处理时间与CPU利用率方面的公平比较。
• 通过电池模型（参数 a=0, s=1, V=2.5, N=4781）估算功耗，计算特征编码与匹配的总Ah消耗（Ah_t）。
• 通过估算两个数据集中每张参考图像的特征描述符总大小（假设完整地图存储），计算预期的内存需求。
• 使用标准VPR指标评估性能，数据集通过手持杆安装相机模拟6-DOF无人机运动。
• 分析涵盖匹配准确率与资源效率，结果以CPU利用率、执行时间与功耗形式呈现。

实验结果

研究问题

• RQ1 为地面平台设计的SOTA VPR技术在6-DOF视角变化下能否有效泛化到航拍机器人平台？
• RQ2 在资源受限的航拍平台上，不同VPR技术在功耗消耗与能效方面如何比较？
• RQ3 使用现代基于描述符的方法在航拍数据集上存储完整VPR地图的预期内存需求是多少？
• RQ4 Shopping Street数据集中的视角变化如何影响SOTA VPR技术的匹配性能？
• RQ5 哪种VPR技术在准确性、能效与内存占用之间实现了最佳权衡，适用于长时间飞行任务？

主要发现

• NetVLAD在Shopping Street 2数据集上实现了最高的匹配性能，表明其对6-DOF视角变化具有最先进的鲁棒性。
• Cross-Region-BOW的功耗最高（Ah_t = 63.836），主要因其计算密集的匹配阶段（t_m = 1199.04 秒）。
• CALC是能效最高的方法，总电池消耗最低（Ah_t = 0.0272），因此非常适用于长时间飞行任务。
• 存储完整描述符地图的预期内存需求在不同技术间差异显著，Cross-Region-BOW最高，CALC最低，范围从0.0272 Ah_t 到 63.836 Ah_t。
• 在Shopping Street 1与Shopping Street 2之间观察到匹配性能显著下降，表明6-DOF视角变化对现有VPR方法构成重大挑战。
• 尽管在地面数据集上表现优异，大多数SOTA VPR技术在航拍数据集模拟的垂直与侧向视角变化下仍表现不佳，凸显了开发面向航拍优化的VPR系统的需求。