[논문 리뷰] Rethinking Visual Geo-localization for Large-Scale Applications

Gabriele Berton, Carlo Masone외 1명|arXiv (Cornell University)|2022. 04. 05.

Advanced Image and Video Retrieval Techniques인용 수 13

한 줄 요약

이 논문은 계산 비용이 높은 대비 학습 대신 경량의 분류 기반 접근 방식을 사용하는 시각적 지오로컬라이제이션을 위한 새로운 훈련 방법인 CosPlace를 제안한다. 이는 SF-XL과 같은 대규모 데이터셋에서 효율적인 훈련을 가능하게 하며, 8배 작고 GPU 메모리가 80% 적게 필요한 기술로, 도시 규모 응용 분야에서의 확장성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

Visual Geo-localization (VG) is the task of estimating the position where a given photo was taken by comparing it with a large database of images of known locations. To investigate how existing techniques would perform on a real-world city-wide VG application, we build San Francisco eXtra Large, a new dataset covering a whole city and providing a wide range of challenging cases, with a size 30x bigger than the previous largest dataset for visual geo-localization. We find that current methods fail to scale to such large datasets, therefore we design a new highly scalable training technique, called CosPlace, which casts the training as a classification problem avoiding the expensive mining needed by the commonly used contrastive learning. We achieve state-of-the-art performance on a wide range of datasets and find that CosPlace is robust to heavy domain changes. Moreover, we show that, compared to the previous state-of-the-art, CosPlace requires roughly 80% less GPU memory at train time, and it achieves better results with 8x smaller descriptors, paving the way for city-wide real-world visual geo-localization. Dataset, code and trained models are available for research purposes at https://github.com/gmberton/CosPlace.

연구 동기 및 목표

• 실세계 시각적 지오로컬라이제이션 응용 분야를 위한 대표성 있고 대규모 데이터셋의 부족을 해결한다.
• 대규모 훈련 데이터베이스에서 고비용의 음성 샘플링에 의존하는 현재의 대비 학습 방법의 확장성 한계를 극복한다.
• 도시 전체 이미지 컬렉션을 훈련 및 추론 모두에 효과적으로 사용할 수 있는 훈련 프레임워크를 개발한다.
• 최소한의 계산 자원으로도 높은 성능을 낼 수 있고, 다양한 도메인 간에 강력한 일반화 능력을 갖춘 효율적인 시각적 지오로컬라이제이션을 가능하게 한다.

제안 방법

• 지리적 위치와 방향 기반 그룹화를 사용하여 시각적 지오로컬라이제이션을 다중 분류 문제로 재정의하는 CosPlace 훈련 방법을 제안한다.
• 공간 셀과 방향 밴드를 기반으로 클래스를 정의하여 음성 샘플링이 필요 없이 구조적이고 구분 가능한 훈련 레이블을 생성한다.
• 그룹화된 클래스에 대한 교차 엔트로피를 통해 대비 손실의 대체 수단을 제공하고, 표준 최적화 방법을 사용한 엔드 투 엔드 훈련을 가능하게 한다.
• 전역 평균 풀링을 사용하는 백본 네트워크(예: ResNet)를 활용하여 압축되고 구분력 있는 기술 특징을 생성한다.
• 추론 시 코사인 유사도를 사용하여 학습된 기술 특징을 활용해 쿼리와 가장 가까운 데이터베이스 이미지를 매칭한다.
• 전체 도시를 커버하는 고밀도의 다중 도메인 이미지 컬렉션을 가진 새로 도입된 샌프란시스코 eXtra Large(SF-XL) 데이터셋에서 훈련한다.

실험 결과

연구 질문

• RQ1 고비용의 샘플링 없이도 분류 기반 훈련 접근 방식이 대규모 시각적 지오로컬라이제이션에서 대비 학습을 능가할 수 있는가?
• RQ2 SF-XL과 같은 대규모 도시 전체 이미지 데이터셋을 사용할 때 CosPlace로 훈련된 모델의 성능가 어떻게 확장되는가?
• RQ3 CosPlace는 도메인 이동 상황에서도 얼마나 잘 일반화되는가, 특히 다른 데이터셋과 도메인에 대해서는 어떤가?
• RQ4 기존 방법과 비교했을 때 CosPlace를 사용할 경우 기술 특징 크기, 추론 속도, 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ5 방향 레이블의 포함 여부가 제안된 프레임워크의 성능과 훈련 효율성에 어떤 영향을 미치는가?

주요 결과

• CosPlace는 512-D 기술 특징을 사용할 경우 Pitts250k에서 90.9%의 Recall@1 성능을 기록하며 최신 기술 수준을 달성한다.
• 512-D CosPlace 모델은 이전 최신 기술(SFRS)보다 성능이 뛰어나며, 기술 특징 크기를 8배 작게 하고 훈련 시 GPU 메모리 사용량을 80% 줄였다.
• 모델은 도메인 간에 강력하게 일반화되며, SF-XL에서만 훈련된 상태에서도 세인트루시아에서 98.8%의 Recall@1과 MSLS에서 81.8%의 Recall@1 성능을 기록했다.
• 512-D 기술 특징을 사용할 경우, 4096-D SFRS보다 8배 빠르고, 32k-D NetVLAD보다 64배 빠른 추론 속도를 제공한다.
• 방향 기반 그룹화를 사용함으로써 성능 향상이 뚜렷하게 나타났으며, 아블레이션 분석 결과 방향 레이블을 제거할 경우 Recall@1이 10% 감소했다.
• CosPlace는 ResNets와 트랜스포머를 포함한 다양한 백본에서 효과적으로 작동하며, 아키텍처 수정 없이도 VGG-16 기반 모델보다 뛰어난 성능을 낸다.