[论文解读] EigenPlaces: Training Viewpoint Robust Models for Visual Place Recognition

Gabriele Berton, Gabriele Trivigno+2 more|arXiv (Cornell University)|Aug 21, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用 3

一句话总结

EigenPlaces 提出了一种用于视觉位置识别的新型训练范式，通过基于地理主成分将训练图像聚类为视角不变类别，增强了视角鲁棒性。通过专注于前视和侧视的双损失目标进行训练，该方法在多种数据集上实现了最先进性能，同时将描述符大小减少50%，GPU内存使用量降低60%。

ABSTRACT

Visual Place Recognition is a task that aims to predict the place of an image (called query) based solely on its visual features. This is typically done through image retrieval, where the query is matched to the most similar images from a large database of geotagged photos, using learned global descriptors. A major challenge in this task is recognizing places seen from different viewpoints. To overcome this limitation, we propose a new method, called EigenPlaces, to train our neural network on images from different point of views, which embeds viewpoint robustness into the learned global descriptors. The underlying idea is to cluster the training data so as to explicitly present the model with different views of the same points of interest. The selection of this points of interest is done without the need for extra supervision. We then present experiments on the most comprehensive set of datasets in literature, finding that EigenPlaces is able to outperform previous state of the art on the majority of datasets, while requiring 60\% less GPU memory for training and using 50\% smaller descriptors. The code and trained models for EigenPlaces are available at {\small{\url{https://github.com/gmberton/EigenPlaces}}}, while results with any other baseline can be computed with the codebase at {\small{\url{https://github.com/gmberton/auto_VPR}}}.

研究动机与目标

• 解决视觉位置识别（VPR）中的视角变化挑战，因为标准模型在从截然不同角度拍摄的图像上无法识别。
• 克服现有度量学习方法的局限性，这些方法依赖于相似朝向的正样本，无法泛化到具有挑战性的视角偏移场景。
• 开发一种自监督聚类方法，从地理分布的训练数据中识别兴趣点，而无需额外标注。
• 通过显式建模每个聚类内的多视角一致性，训练深度神经网络以生成视角鲁棒的全局描述符。
• 证明视角不变描述符可以高效学习，从而减小模型尺寸和训练成本，同时在多样化数据集上提升泛化能力。

提出的方法

• 根据图像的地理分布将训练地图划分为细粒度的单元格。
• 在每个单元格内，计算图像位置的主成分，以识别场景的主视角（焦点点）。
• 形成聚类，使得聚类中所有图像均朝向同一焦点点，从而确保同一地点的多视角表示。
• 使用双损失目标训练网络：一个损失聚焦于第一主成分（前视图），另一个聚焦于第二主成分（侧视图），以促进跨视角的鲁棒性。
• 使用焦点距离超参数控制图像位置均值与焦点点之间的距离，从而可根据不同数据集特性进行调优。
• 在对比学习过程中，利用生成的聚类作为难样本的正负样本，促使模型学习视角不变特征。

实验结果

研究问题

• RQ1 是否可以在不依赖人工标注的视角组或额外监督的情况下，实现视角鲁棒的视觉位置识别？
• RQ2 与标准度量学习相比，基于地理主成分的聚类在严重视角偏移下如何提升泛化能力？
• RQ3 在损失函数中，前视与侧视监督之间的最优平衡是什么，才能在多样化数据集上实现最佳鲁棒性？
• RQ4 所提出方法在不牺牲性能的前提下，能在多大程度上减少描述符尺寸和训练内存占用？
• RQ5 焦点距离的选择如何影响在具有不同视角分布的数据集上的模型鲁棒性？

主要发现

• EigenPlaces 在大多数基准数据集上实现了最先进性能，包括 Pitts30k、Tokyo 24/7、MSLS 和 St Lucia，所有数据集的平均 Recall@1 达到 89.5。
• 在基准测试的6个数据集中的5个上，该模型优于之前的最先进方法，其中在 St Lucia 上 Recall@1 高达 99.5，在 Tokyo 24/7 上为 99.0。
• 使用 ResNet-18 和 512维描述符时，EigenPlaces 相比先前方法将描述符大小减少了50%，同时保持或提升了准确率。
• 训练所需的 GPU 内存比之前的最先进模型减少了60%，使得在标准硬件上也能高效训练。
• 消融实验表明，结合前视与侧视损失可获得最佳整体性能，在所有数据集上均优于单一损失变体。
• 混淆矩阵分析显示，EigenPlaces 在视角差异较大的图像之间仍保持高余弦相似度，证实了其具备视角不变特征学习能力。