[논문 리뷰] Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization

Yingying Zhu, Hongji Yang외 2명|arXiv (Cornell University)|2023. 02. 03.

Advanced Image and Video Retrieval Techniques인용 수 11

한 줄 요약

논문은 SAIG를 제안하는데, cross-view 지오로컬라이제이션용 경량 어텐션 기반 백본으로 컨볼루션 스템, 멀티-헤드 셀프 어텐션, 간단한 공간 혼합 특징 집계를 사용하며 더 적은 매개변수로도 경쟁력 있는 성능을 달성한다.

ABSTRACT

In this work, we aim at an important but less explored problem of a simple yet effective backbone specific for cross-view geo-localization task. Existing methods for cross-view geo-localization tasks are frequently characterized by 1) complicated methodologies, 2) GPU-consuming computations, and 3) a stringent assumption that aerial and ground images are centrally or orientation aligned. To address the above three challenges for cross-view image matching, we propose a new backbone network, named Simple Attention-based Image Geo-localization network (SAIG). The proposed SAIG effectively represents long-range interactions among patches as well as cross-view correspondence with multi-head self-attention layers. The "narrow-deep" architecture of our SAIG improves the feature richness without degradation in performance, while its shallow and effective convolutional stem preserves the locality, eliminating the loss of patchify boundary information. Our SAIG achieves state-of-the-art results on cross-view geo-localization, while being far simpler than previous works. Furthermore, with only 15.9% of the model parameters and half of the output dimension compared to the state-of-the-art, the SAIG adapts well across multiple cross-view datasets without employing any well-designed feature aggregation modules or feature alignment algorithms. In addition, our SAIG attains competitive scores on image retrieval benchmarks, further demonstrating its generalizability. As a backbone network, our SAIG is both easy to follow and computationally lightweight, which is meaningful in practical scenario. Moreover, we propose a simple Spatial-Mixed feature aggregation moDule (SMD) that can mix and project spatial information into a low-dimensional space to generate feature descriptors... (The code is available at https://github.com/yanghongji2007/SAIG)

연구 동기 및 목표

• 엄격한 정합 가정을 완화하는 간단하면서도 효과적인 cross-view 지오로컬라이제이션 백본의 필요성을 제시한다.
• SAIG를 소개한다, 컨볼루션 스템, 멀티헤드 셀프 어텐션, 그리고 글로벌 풀링/특징 집합 전략을 결합한 경량 아키텍처.
• SAIG가 매개변수 및 계산 부담을 크게 줄이면서 경쟁력 있거나 최첨단의 결과를 달성함을 보여준다.
• 공간-혼합 특징 집계(SMD) 모듈을 제안하여 교차 뷰 디스크립터의 품질을 더 향상시킨다.
• 세미-하드 트리플렛 및 InfoNCE와 같은 한-대-다(one-to-many) cross-view 매칭에 적합한 학습 손실을 탐구하고 그 유용성을 시연한다.

제안 방법

• 로컬리티를 보존하고 중첩 패치 임베딩을 생성하기 위한 컨볼루션 스템.
• 장거리 패치 관계를 모델하기 위한 멀티헤드 셀프 어텐션 층으로, 무거운 특징 정렬 모듈에 의존하지 않는다.
• 어텐션 블록에서 FFN 서브레이어를 제거하여 매개변수를 줄이고 성능을 유지한다.
• 공간 정보를 혼합하고 더 높은 차원의 디스크립터로 투영하는 간단한 Spatial-Mixed Feature Aggregation(SMD) 모듈.
• SAIG-S(11 SA 레이어)와 SAIG-D(22 SA 레이어)의 두 가지 경량 SAIG 변형은 좁고 깊은 설계 아래에서.
• 학습 손실은 semi-hard mining이 포함된 가중치 소프트 마진 트리플렛 손실과 한-대-다 시나리오를 위한 InfoNCE 손실을 포함한다.

실험 결과

연구 질문

• RQ1 컨볼루션 스템과 셀프 어텐션으로 구성된 간단하고 일반적인 백본이 무거운 특징 정렬 모듈 없이도 최첨단 교차 뷰 지오로컬라이제이션 방법과 맞먹거나 이를 능가할 수 있는가?
• RQ2 좁고 깊은 SAIG 아키텍처가 매개변수와 계산량을 줄인 상태에서 강력한 성능을 제공하는가?
• RQ3 경량 Spatial-Mixed 특징 집계(SMD)가 디스크립터 품질과 교차 뷰 매칭에 어떤 영향을 미치는가?
• RQ4 Semi-hard 트리플렛 손실과 InfoNCE 손실이 이 맥락에서 한-대-다 매칭에 대해 어떻게 성능을 발휘하는가?
• RQ5 SAIG 변형들이 지오로컬라이제이션 외의 이미지 검색 벤치마크로도 잘 일반화되는가?

주요 결과

모델	백본	치도	r@1 CVUSA	r@5 CVUSA	r@10 CVUSA	r@1% CVUSA	r@1 CVACT_val	r@5 CVACT_val	r@10 CVACT_val	r@1% CVACT_val
SAIG-S	SAIG-S	384	88.82	97.17	98.27	99.74	81.39	93.88	95.53	98.44
SAIG-D	SAIG-D	384	90.29	97.71	98.74	99.76	82.40	93.94	95.54	98.49
SAIG-S + SAM	SAIG-S	384	92.69	98.13	98.95	99.84	85.39	95.09	96.52	98.53
SAIG-D + SAM	SAIG-D	384	93.97	98.47	99.09	99.86	86.65	95.25	96.53	98.61

• SAIG는 일부 벤치마크 대비 매개변수의 15.9%만으로도 우수하거나 경쟁력 있는 성능을 달성한다.
• SAIG-S와 SAIG-D는 모델 크기와 정확도 간의 트레이드를 제공하며, 일반적으로 SAIG-D가 더 강한 결과를 제공한다.
• SAM(Sharpness-Aware Minimization)을 도입하면 SAIG의 결과가 더욱 향상되며, 예를 들어 SAIG-D + SAM은 CVUSA/CVACT에서 더 높은 r@1에 도달한다.
• 제안된 SMD 모듈은 성능을 개선하고 기존 풀링 방법에 대한 플러그 앤 플레이 대안을 제공한다.
• 한-대-다 매칭에 특화된 손실 함수(세미-하드 트리플렛 및 InfoNCE)는 관련 데이터셋에서 일반 트리플렛 손실보다 우수하다.
• SAIG는 표준 이미지 검색 벤치마크에서도 경쟁력 있는 성능을 보여 일반화가 잘 됨을 시사한다.