[논문 리뷰] TransGeo: Transformer Is All You Need for Cross-view Image Geo-localization

Sijie Zhu, Mubarak Shah외 1명|arXiv (Cornell University)|2022. 03. 31.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

TransGeo는 극좌표 변환과 데이터 증강에 의존하지 않는 순수 트랜스포머 기반 방법을 제안하여 크로스뷰 이미지 지오로컬라이제이션을 수행한다. 주의력 지도를 활용한 비균일한 컷팅을 통해 정보가 많은 이미지 패치에 집중하고, 해당 영역에 더 높은 해상도를 할당함으로써 계산 자원을 재할당함으로써, CNN 기반 방법에 비해 훨씬 적은 FLOPs와 추론 시간으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The dominant CNN-based methods for cross-view image geo-localization rely on polar transform and fail to model global correlation. We propose a pure transformer-based approach (TransGeo) to address these limitations from a different perspective. TransGeo takes full advantage of the strengths of transformer related to global information modeling and explicit position information encoding. We further leverage the flexibility of transformer input and propose an attention-guided non-uniform cropping method, so that uninformative image patches are removed with negligible drop on performance to reduce computation cost. The saved computation can be reallocated to increase resolution only for informative patches, resulting in performance improvement with no additional computation cost. This "attend and zoom-in" strategy is highly similar to human behavior when observing images. Remarkably, TransGeo achieves state-of-the-art results on both urban and rural datasets, with significantly less computation cost than CNN-based methods. It does not rely on polar transform and infers faster than CNN-based methods. Code is available at https://github.com/Jeff-Zilence/TransGeo2022.

연구 동기 및 목표

• 극좌표 변환에 의존하고 전역 상관관계 모델링에 어려움을 겪는 CNN 기반 크로스뷰 지오로컬라이제이션 방법의 한계를 해결하기 위해.
• 비전 트랜스포머의 전역 모델링 능력과 명시적 위치 인코딩 기능을 활용하여 지오로컬라이제이션 성능을 향상시키기 위해.
• 성능을 희생시키지 않은 채 정보가 없는 이미지 패치를 회피하는 유연하고 계산 효율적인 방법을 개발하기 위해.
• 주의력 맵을 기반으로 한 적응형 비균일 컷팅을 통해 추론 속도를 향상시키고 메모리 사용량을 줄이기 위해.
• 도메인 특화 전처리나 데이터 증강 없이도 순수 트랜스포머가 CNN보다 크로스뷰 지오로컬라이제이션에서 슈퍼리어 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• CNN을 대체하고 극좌표 변환의 필요성을 제거하기 위해 크로스뷰 이미지 지오로컬라이제이션을 위한 순수 비전 트랜스포머 아키텍처(TransGeo)를 제안한다.
• 이미지 패치 간의 공간적 관계를 명시적으로 인코딩하기 위해 학습 가능한 2차원 위치 임베딩을 도입하여 기하학적 대응 학습을 향상시킨다.
• 주의력 지도 기반 비균일 컷팅을 적용: 모델은 마지막 트랜스포머 인코더 레이어에서 주의력 맵을 계산하여 정보가 많은 패치를 식별하고, 해당 영역에만 해상도를 증가시킨다.
• 정보가 없는 패치에서 절약된 계산 자원을 핵심 영역의 고해상도 처리에 재할당함으로써, 추가 FLOPs 없이도 성능 향상을 이룬다.
• 특히 중간 규모 데이터셋에서의 일반화 능력 향상과 과적합 방지를 위해 적응형 선명도 인식 최소화(ASAM)를 적용한다.
• 이중 단계 트레이닝 파이프라인을 적용: 먼저 전체 입력으로 학습을 수행한 후, 주의력 맵을 기반으로 컷팅 및 줌 인된 패치로 미세조정한다.

실험 결과

연구 질문

• RQ1 극좌표 변환에 의존하지 않는 순수 트랜스포머 기반 방법이 CNN 기반 접근 방식보다 크로스뷰 이미지 지오로컬라이제이션에서 슈퍼리어 성능을 낼 수 있는가?
• RQ2 주의력 맵을 효과적으로 활용하여 비균일한 컷팅을 유도함으로써 계산량을 줄이고 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 비전 트랜스포머에 학습 가능한 위치 임베딩을 적용할 경우, 큰 도메인 갭이 존재하는 크로스뷰 지오로컬라이제이션에서 성능 향상이 이루어지는가?
• RQ4 정보가 없는 패치 제거로 절약된 계산 자원을 정보가 많은 영역의 해상도 증가에 재할당할 경우, 추가 FLOPs 없이 성능 향상이 이루어지는가?
• RQ5 제안된 '주의력 집중 및 줌 인' 전략은 인간의 시각 주의력과 비교해 이미지 이해에서 어떤가?

주요 결과

• TransGeo는 도시(VCUSA) 및 농촌(VIGOR) 데이터셋 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 CNN 기반 방법(SAFA)을 능가한다.
• CVUSA에서 TransGeo는 320x320 해상도와 0.64 패치 유지율로 R@1 94.08%를 기록하여 베이스라인 대비 1.0% 향상되었고, FLOPs도 감소시켰다.
• VIGOR에서 주의력 기반 비균일 컷팅은 36%의 패치를 제거했고 R@1는 0.36% 감소에 그쳤으며, CVUSA에서는 0.1% 감소에 그쳐 정보가 없는 패치를 안전하게 제거할 수 있음을 입증했다.
• 선택된 패치에 대해 해상도를 증가시켜(γ=1.56) R@1를 베이스라인 대비 1.0% 향상시켰고, 총 FLOPs는 증가하지 않았다.
• 학습 가능한 위치 임베딩이 고정된 사인 함수 임베딩보다 유의미하게 뛰어나, CVUSA에서 R@1를 42.72%에서 93.18%로 향상시켜 크로스뷰 정렬에서의 중요성을 입증했다.
• 시각화 결과는 주의력 맵에서 강력한 전역 상관관계 학습이 가능하며, 특히 깊은 레이어에서 장거리 의존성 모델링 능력이 뛰어나다는 것을 확인했다.