[논문 리뷰] EigenPlaces: Training Viewpoint Robust Models for Visual Place Recognition

Gabriele Berton, Gabriele Trivigno외 2명|arXiv (Cornell University)|2023. 08. 21.

Advanced Image and Video Retrieval TechniquesComputer Science인용 수 3

한 줄 요약

EigenPlaces는 시각적 장소 인식을 위한 새로운 학습 프레임워크를 제안하며, 지리적 주성분을 기반으로 한 시점에 강인한 클래스로 훈련 이미지를 클러스터링하여 시점에 대한 강인성을 향상시킨다. 전면 및 측면 시점에 중점을 둔 이중 손실 목적함수를 사용하여 훈련함으로써, 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 디스크립터 크기를 50% 줄이고 GPU 메모리 사용량을 60% 감소시킨다.

ABSTRACT

Visual Place Recognition is a task that aims to predict the place of an image (called query) based solely on its visual features. This is typically done through image retrieval, where the query is matched to the most similar images from a large database of geotagged photos, using learned global descriptors. A major challenge in this task is recognizing places seen from different viewpoints. To overcome this limitation, we propose a new method, called EigenPlaces, to train our neural network on images from different point of views, which embeds viewpoint robustness into the learned global descriptors. The underlying idea is to cluster the training data so as to explicitly present the model with different views of the same points of interest. The selection of this points of interest is done without the need for extra supervision. We then present experiments on the most comprehensive set of datasets in literature, finding that EigenPlaces is able to outperform previous state of the art on the majority of datasets, while requiring 60\% less GPU memory for training and using 50\% smaller descriptors. The code and trained models for EigenPlaces are available at {\small{\url{https://github.com/gmberton/EigenPlaces}}}, while results with any other baseline can be computed with the codebase at {\small{\url{https://github.com/gmberton/auto_VPR}}}.

연구 동기 및 목표

• 표준 모델이 극단적으로 다른 각도에서 찬 이미지를 인식하지 못하는 시각적 장소 인식(VPR)에서의 시점 변동 문제를 해결한다.
• 유사한 방향의 양성 예제에 의존하는 기존의 메트릭 학습 접근법의 한계를 극복하며, 도전적인 시점 이동에 일반화되지 않는 문제를 해결한다.
• 추가적인 애너테이션 없이 지리적으로 분포된 훈련 데이터에서 주목할 만한 지점을 식별하기 위한 자기지도 기반 클러스터링 방법을 개발한다.
• 각 클러스터 내에서 다중 시점 일致성을 명시적으로 모델링하여, 시점에 강인한 글로벌 디스크립터를 생성하기 위해 딥 네ural 네트워크를 훈련시킨다.
• 시점에 강인한 디스크립터를 효율적으로 학습시켜 모델 크기와 훈련 비용을 줄이며, 다양한 데이터셋에서 일반화 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 이미지의 지리적 분포에 기반해 훈련 지도를 미세한 셀로 나눈다.
• 각 셀 내에서 이미지 위치의 주성분을 계산하여 장면의 주요 시점(초점점)을 식별한다.
• 모든 이미지가 동일한 초점점 향해 향하도록 클러스터를 형성함으로써, 동일한 장소의 다중 시점 표현을 보장한다.
• 이중 손실 목적함수를 사용해 네트워크를 훈련시며, 하나의 손실은 첫 번째 주성분(전면 시점)에 집중하고, 다른 하나는 두 번째 주성분(측면 시점)에 집중하여 다양한 시점 간의 강인성을 향상시킨다.
• 초점 거리 하이퍼파ram터를 사용해 평균 이미지 위치와 초점점 사이의 거리를 조절함으로써, 다양한 데이터셋 특성에 맞게 조정할 수 있다.
• 대조 학습 중에 얻어진 클러스터를 하드 양성 및 하드 음성으로 활용하여, 모델이 시점에 강인한 특징을 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 수동으로 구성된 시점 그룹이나 추가적인 감독 없이도 시점에 강인한 시각적 장소 인식을 달성할 수 있는가?
• RQ2 지리적 주성분 기반 클러스터링이 표준 메트릭 학습 대비 극단적인 시점 이동 상황에서 일반화 성능을 어떻게 향상시키는가?
• RQ3 다양한 데이터셋에서 강인성을 확보하기 위해 손실 함수에서 전면 및 측면 시점에 대한 감독의 최적의 균형은 무엇인가?
• RQ4 제안된 방법을 통해 디스크립터 크기와 훈련 메모리 프로필을 얼마나 줄일 수 있으며, 성능 저하 없이 수행할 수 있는가?
• RQ5 초점 거리의 선택이 다양한 시점 분포를 가진 데이터셋에서 모델의 강인성에 어떤 영향을 미치는가?

주요 결과

• EigenPlaces는 Pitts30k, Tokyo 24/7, MSLS, St Lucia를 포함한 대부분의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 모든 데이터셋 평균 Recall@1은 89.5이다.
• 벤치마크의 6개 데이터셋 중 5개에서 이전 최신 기술 수준 모델을 초월하였으며, St Lucia에서 Recall@1이 99.5로 가장 높고, Tokyo 24/7에서는 99.0을 기록하였다.
• 512차원 디스크립터를 사용하는 ResNet-18을 적용했을 때, 이전 방법 대비 디스크립터 크기를 50% 줄였지만 정확도는 유지 또는 향상시켰다.
• 이전 최신 기술 수준 모델 대비 60% 적은 GPU 메모리 사용량을 요구하여 표준 하드웨어에서도 효율적인 훈련을 가능하게 하였다.
• 제거 분석 결과, 전면 및 측면 시점 손실을 모두 조합한 경우가 모든 데이터셋에서 가장 우수한 성능을 보였으며, 단일 손실 버전보다 뛰어났다.
• 혼동 행렬 분석을 통해, 대규모 시점 차이가 있는 이미지 간에도 높은 코사인 유사도를 유지함을 확인하여, 시점에 강인한 특징 학습 능력을 입증하였다.