[论文解读] Generalized Contrastive Optimization of Siamese Networks for Place Recognition

Luz María, Nicola Strisciuglio+1 more|arXiv (Cornell University)|Mar 11, 2021

Advanced Image and Video Retrieval Techniques被引用 14

一句话总结

本文为视觉位置识别中的孪生网络提出了一种广义对比损失（GCL），使用连续相似度分数而非二值标签。模型在MSLS、TB-Places和7Scenes数据集上通过自动标注的图像对进行训练，优于NetVLAD和Patch-NetVLAD等最先进方法，在多个基准测试中实现了更高的准确率和泛化能力，且无需复杂的负样本挖掘。

ABSTRACT

Visual place recognition is a challenging task in computer vision and a key component of camera-based localization and navigation systems. Recently, Convolutional Neural Networks (CNNs) achieved high results and good generalization capabilities. They are usually trained using pairs or triplets of images labeled as either similar or dissimilar, in a binary fashion. In practice, the similarity between two images is not binary, but continuous. Furthermore, training these CNNs is computationally complex and involves costly pair and triplet mining strategies. We propose a Generalized Contrastive loss (GCL) function that relies on image similarity as a continuous measure, and use it to train a siamese CNN. Furthermore, we present three techniques for automatic annotation of image pairs with labels indicating their degree of similarity, and deploy them to re-annotate the MSLS, TB-Places, and 7Scenes datasets. We demonstrate that siamese CNNs trained using the GCL function and the improved annotations consistently outperform their binary counterparts. Our models trained on MSLS outperform the state-of-the-art methods, including NetVLAD, NetVLAD-SARE, AP-GeM and Patch-NetVLAD, and generalize well on the Pittsburgh30k, Tokyo 24/7, RobotCar Seasons v2 and Extended CMU Seasons datasets. Furthermore, training a siamese network using the GCL function does not require complex pair mining. We release the source code at https://github.com/marialeyvallina/generalized_contrastive_loss.

研究动机与目标

• 解决孪生网络在视觉位置识别训练中二值相似度标签的局限性。
• 通过消除昂贵的对样本和三元组挖掘策略，降低计算复杂度。
• 提升模型在多样化位置识别基准上的泛化能力和性能。
• 开发自动化技术，为图像对标注连续相似度分数。
• 展示采用更简单、更高效训练范式下的最先进性能。

提出的方法

• 提出一种广义对比损失（GCL）函数，使用连续相似度值而非二值标签。
• 设计三种自动化方法，为MSLS、TB-Places和7Scenes数据集中的图像对生成连续相似度标注。
• 使用重新标注的数据集，通过GCL损失训练孪生CNN，以提升特征学习能力。
• 通过训练期间的连续监督，消除对复杂对样本挖掘的依赖。
• 通过嵌入向量比较，在检索任务中应用学习到的孪生网络进行位置识别。
• 发布代码和训练模型，以支持可复现性及进一步研究。

实验结果

研究问题

• RQ1 与二值监督相比，连续相似度监督是否能提升孪生网络在视觉位置识别中的性能？
• RQ2 在真实世界数据集中，自动化生成连续相似度标注的方法有多有效？
• RQ3 使用GCL训练是否能消除对昂贵对样本挖掘的需求，同时保持或提升准确率？
• RQ4 所提方法在Pittsburgh30k、Tokyo24/7和RobotCar Seasons v2等多样化基准上是否具有良好的泛化能力？
• RQ5 基于GCL的孪生网络与最先进方法（如NetVLAD和Patch-NetVLAD）相比表现如何？

主要发现

• GCL训练的孪生网络在所有评估基准上（包括MSLS、Pittsburgh30k、Tokyo24/7和RobotCar Seasons v2）均优于二值监督的基线模型。
• 在MSLS数据集上，该模型达到最先进性能，超越NetVLAD、NetVLAD-SARE、AP-GeM和Patch-NetVLAD。
• 模型在未见过的环境中表现出色，展示了在多样化条件和场景下的强大零样本泛化能力。
• 所提出的自动化标注技术成功生成了高质量的连续相似度标签用于训练。
• 使用GCL训练消除了对复杂对样本挖掘的需求，显著降低了训练复杂度。
• 发布的代码和模型支持可复现性，并推动了位置识别研究的进一步发展。