[논문 리뷰] Transformer-Guided Convolutional Neural Network for Cross-View Geolocalization

Teng Wang, Shujuan Fan외 2명|arXiv (Cornell University)|2022. 04. 21.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 크로스뷰 지오로컬라이제이션을 위한 경량화된 트랜스포머 가이드드 CNN 아키텍처인 TransGCNN를 제안한다. 이는 다중 척도 윈도우 트랜스포머 헤드를 활용해 CNN 특징을 향상시키며, 공간적 어텐션 모듈로 기능한다. 이 방법은 CVUSA에서 94.12%의 top-1 정확도, CVACT_val에서 84.92%의 정확도를 기록하여 기존 모델들을 능가하지만, 파rameter 수의 50% 미만을 사용하고, 거의 두 배의 더 빠른 프레임 레이트를 달성한다.

ABSTRACT

Ground-to-aerial geolocalization refers to localizing a ground-level query image by matching it to a reference database of geo-tagged aerial imagery. This is very challenging due to the huge perspective differences in visual appearances and geometric configurations between these two views. In this work, we propose a novel Transformer-guided convolutional neural network (TransGCNN) architecture, which couples CNN-based local features with Transformer-based global representations for enhanced representation learning. Specifically, our TransGCNN consists of a CNN backbone extracting feature map from an input image and a Transformer head modeling global context from the CNN map. In particular, our Transformer head acts as a spatial-aware importance generator to select salient CNN features as the final feature representation. Such a coupling procedure allows us to leverage a lightweight Transformer network to greatly enhance the discriminative capability of the embedded features. Furthermore, we design a dual-branch Transformer head network to combine image features from multi-scale windows in order to improve details of the global feature representation. Extensive experiments on popular benchmark datasets demonstrate that our model achieves top-1 accuracy of 94.12\% and 84.92\% on CVUSA and CVACT_val, respectively, which outperforms the second-performing baseline with less than 50% parameters and almost 2x higher frame rate, therefore achieving a preferable accuracy-efficiency tradeoff.

연구 동기 및 목표

• 지오로컬라이제이션에서 지면 뷰와 항공 뷰 간의 큰 시각적 및 기하학적 격차 문제를 해결하기 위해.
• CNN 기반 국소적 특징과 트랜스포머 기반 전역적 맥락 모델링을 융합하여 특징 표현 학습을 향상시키기 위해.
• 높은 정확도를 유지하면서 모델 크기와 추론 시간을 크게 줄이는 효율적인 아키텍처를 설계하기 위해.
• 다중 척도 윈도우 어텐션의 효과를 탐색하여 전역적이고 국소적인 맥락적 단서를 함께 포착함으로써 정밀도 향상을 도모하기 위해.
• 기존의 CNN 및 트랜스포머 기반 모델들과 비교해 유리한 정확도-효율성 트레이드오프를 달성하기 위해.

제안 방법

• 지문 기반의 VGG16 기반 CNN 백본을 활용해 국소적 특징을 추출하고, 전역적 맥락 모델링을 위한 경량 트랜스포머 헤드를 포함한 하이브리드 네트워크 아키텍처를 제안한다.
• 트랜스포머 헤드는 공간적 인식 능력을 갖춘 중요도 생성기 역할을 하며, 최종 표현을 위해 주목할 만한 CNN 특징을 선택하는 어텐션 맵을 학습한다.
• 다중 척도 윈도우에서 기능하는 이중 브랜치 트랜스포머 헤드를 설계하였다: 하나는 전역 브랜치이고, 다른 하나는 겹치지 않는 수직 분할을 사용한 부분 수준 브랜치이다.
• 전역 브랜치와 부분 수준 브랜치의 특징 맵이 동적으로 융합되어 상호 보완적으로 작용하고, 장면 표현을 풍부하게 한다.
• 임베딩 공간에서 크로스뷰 매칭을 최적화하기 위해 대비 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 어텐션 채널 수 K는 실험적으로 조정되었으며, 성능 최적화를 위해 K=8이 선택되었다.

실험 결과

연구 질문

• RQ1 경량 트랜스포머 헤드가 크로스뷰 지오로컬라이제이션을 위한 CNN 기반 특징을 효과적으로 향상시킬 수 있는가?
• RQ2 표준 전역 자기어텐션과 비교해 다중 척도 윈도우 어텐션은 특징 표현을 어떻게 향상시키는가?
• RQ3 정확도와 효율성의 균형을 고려할 때 최적의 어텐션 채널 수 K는 얼마인가?
• RQ4 제안된 방법은 상당히 감소된 모델 크기와 더 빠른 추론으로 SOTA 성능을 달성할 수 있는가?
• RQ5 시각적 차이가 뚜렷한 어려운 음성 샘플에서 모델의 성능은 어떠한가?

주요 결과

• TransGCNN는 CVUSA 벤치마크에서 94.12%의 top-1 정확도를 기록하여 두 번째로 좋은 베이스라인을 능가한다.
• CVACT_val 데이터셋에서 모델은 84.92%의 top-1 정확도를 달성하여 도전적인 실세계 데이터에 대해 강력한 일반화 능력을 보여준다.
• 두 번째로 성능이 좋은 베이스라인의 50% 미만의 파라미터를 사용하여 모델 효율성을 크게 향상시켰다.
• 두 번째로 좋은 모델의 거의 두 배에 가까운 프레임 레이트를 기록하여, 뛰어난 정확도-효율성 트레이드오프를 달성했다.
• 제거 분석 결과, 어텐션 채널 수 K를 1에서 8로 증가시킬 경우 r@1이 9.73%p 향상되었으며, K=4를 초과하면 수익 감소 현상이 나타났다.
• 시각화 결과, 모델이 도로나 건물과 같은 주목할 만한 구조물에 초점을 맞추는 것을 확인했으며, 기존의 베이스라인 방법들과 달리 배경과의 구분에 주로 의존하지 않는다.