[论文解读] Levelling the Playing Field: A Comprehensive Comparison of Visual Place Recognition Approaches under Changing Conditions

Mubariz Zaffar, Ahmad Khaliq+3 more|arXiv (Cornell University)|Mar 21, 2019

Advanced Image and Video Retrieval Techniques参考文献 48被引用 35

一句话总结

论文在三个具有挑战性的数据集上对10种最先进的视觉地点识别（VPR）技术进行了基准测试，使用标准化指标：匹配性能（AUC）、匹配时间和内存开销，提供统一比较并为未来VPR研究提供指导。

ABSTRACT

In recent years there has been significant improvement in the capability of Visual Place Recognition (VPR) methods, building on the success of both hand-crafted and learnt visual features, temporal filtering and usage of semantic scene information. The wide range of approaches and the relatively recent growth in interest in the field has meant that a wide range of datasets and assessment methodologies have been proposed, often with a focus only on precision-recall type metrics, making comparison difficult. In this paper we present a comprehensive approach to evaluating the performance of 10 state-of-the-art recently-developed VPR techniques, which utilizes three standardized metrics: (a) Matching Performance b) Matching Time c) Memory Footprint. Together this analysis provides an up-to-date and widely encompassing snapshot of the various strengths and weaknesses of contemporary approaches to the VPR problem. The aim of this work is to help move this particular research field towards a more mature and unified approach to the problem, enabling better comparison and hence more progress to be made in future research.

研究动机与目标

• 评估在具有挑战性的外观变化下，10种最新VPR技术的性能。
• 通过保持数据集、真实标签和指标不变，提供公平、统一的评估平台。
• 量化准确率、速度和内存使用之间的权衡，以便部署考虑。

提出的方法

• 在 Berlin Kudamm、Gardens Point 和 Nordland 三个公开数据集上，在标准条件下评估 10 种 VPR 技术。
• 使用三项指标：匹配性能（精确度-召回的 AUC）、匹配时间（查询编码和描述符匹配）以及内存开销（描述符大小）。
• 实现并按照描述配置每种技术：HOG、Seq-SLAM、AlexNet、NetVLAD、AMOSNet、HybridNet、Cross-Region-BOW、R-MAC、Region-VLAD、CALC。
• 在视角/季节/光照变化的敏感性以及动态对象的存在方面比较技术。

实验结果

研究问题

• RQ1 在极端外观变化下，最前沿的VPR技术在准确性方面的比较如何？
• RQ2 在统一平台上部署时，各方法在计算方面的权衡（时间和内存）是什么？
• RQ3 对于实时部署，哪些方法在匹配性能和资源需求之间提供最佳平衡？

主要发现

• NetVLAD 在 Berlin Kudamm 数据集上达到最先进的性能。
• Region-VLAD 和 Cross-Region-BoW 在 Berlin Kudamm 上紧随 NetVLAD，AMOSNet 和 HybridNet 提供有竞争力的结果，但由于极端视角变化而性能下降。
• 大多数方法在 Gardens Point 上尽管存在光照变化仍表现良好，Cross-Region-BoW 实现了强劲结果。
• Region-VLAD 在 Nordland 上提供顶级性能，Net-VLAD 和 Cross-Region-BOW 也具有竞争力。
• 基于 CNN 的方法比手工特征方法需要更高的编码时间和更大的内存占用，而 CALC 显示出显著更快的编码时间。
• Cross-Region-BOW 和 Region-VLAD 的描述符尺寸较大，影响在资源受限平台上的部署。