[논문 리뷰] Cross-view Geo-localization with Evolving Transformer

Hongji Yang, Xiufan Lu외 1명|arXiv (Cornell University)|2021. 07. 02.

Advanced Neural Network Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 자기차원 지오로컬라이제이션을 위한 새로운 Transformer 기반 모델인 EgoTR을 제안한다. 이 모델은 특징의 계층 간 진화를 향상시키기 위해 자기-크로스 어텐션을 활용하고, 기하적 구성 요소를 모델링하기 위해 학습 가능한 위치 임베딩을 사용한다. 강력한 기하학적 가정 없이도 표준, 세분화된, 크로스데이터셋 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

In this work, we address the problem of cross-view geo-localization, which estimates the geospatial location of a street view image by matching it with a database of geo-tagged aerial images. The cross-view matching task is extremely challenging due to drastic appearance and geometry differences across views. Unlike existing methods that predominantly fall back on CNN, here we devise a novel evolving geo-localization Transformer (EgoTR) that utilizes the properties of self-attention in Transformer to model global dependencies, thus significantly decreasing visual ambiguities in cross-view geo-localization. We also exploit the positional encoding of Transformer to help the EgoTR understand and correspond geometric configurations between ground and aerial images. Compared to state-of-the-art methods that impose strong assumption on geometry knowledge, the EgoTR flexibly learns the positional embeddings through the training objective and hence becomes more practical in many real-world scenarios. Although Transformer is well suited to our task, its vanilla self-attention mechanism independently interacts within image patches in each layer, which overlooks correlations between layers. Instead, this paper propose a simple yet effective self-cross attention mechanism to improve the quality of learned representations. The self-cross attention models global dependencies between adjacent layers, which relates between image patches while modeling how features evolve in the previous layer. As a result, the proposed self-cross attention leads to more stable training, improves the generalization ability and encourages representations to keep evolving as the network goes deeper. Extensive experiments demonstrate that our EgoTR performs favorably against state-of-the-art methods on standard, fine-grained and cross-dataset cross-view geo-localization tasks.

연구 동기 및 목표

• 지면 뷰와 항공 뷰 간의 극명한 외관적, 기하학적 차이로 인해 시각적 모호성이 발생하는 크로스뷰 지오로컬라이제이션 문제를 해결하기 위해.
• 국소적인 인덕티브 바이어스에 의존하고 시각적 간섭 및 복잡한 시나리오에서 어려움을 겪는 CNN 기반 모델의 한계를 극복하기 위해.
• 이전 방법에서 사용하는 강력한 기하학적 가정(예: 방향 정렬)을 제거하여 더 넓은 실세계 적용 가능성을 확보하기 위해.
• 새로운 자기-크로스 어텐션 메커니즘을 통해 계층 간 특징 진화를 모델링하여 딥 트랜스포머의 표현 학습을 향상시키기 위해.

제안 방법

• EgoTR는 지면 및 항공 이미지를 처리하기 위해 두 개의 독립된 비전 트랜스포머 브랜치를 사용하며, 글로벌 컨텍스트 모델링을 위해 자기어텐션을 활용한다.
• 모델이 사전 기하학적 가정 없이도 서로 다른 뷰 간 기하학적 레이아웃을 이해하고 대응할 수 있도록 학습 가능한 위치 인코딩을 도입한다.
• 표준 자기어텐션을 대체하기 위해 인접한 트랜스포머 블록의 특징 간 쌍별 유사도를 계산하는 새로운 자기-크로스 어텐션 메커니즘을 제안한다.
• 이 메커니즘은 계층 간 정보 흐름을 향상시키고 표현의 중복을 줄이며, 깊이에 따라 특징 표현이 점진적으로 진화하도록 유도한다.
• 지면 및 항공 이미지 쌍 간 매칭 성능을 최적화하기 위해 대비 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 절단 실험을 통해 자기-크로스 어텐션과 학습 가능한 위치 임베딩이 성능 및 일반화에 기여하는 것을 검증한다.

실험 결과

연구 질문

• RQ1 장거리 의존성과 글로벌 컨텍스트를 모델링함으로써 트랜스포머 기반 아키텍처가 CNN 기반 모델보다 크로스뷰 지오로컬라이제이션에서 우월한 성능을 낼 수 있는가?
• RQ2 강력한 기하학적 사전 지식을 도입하지 않고도 학습 가능한 위치 임베딩이 크로스뷰 기하학적 구성 요소를 효과적으로 포착할 수 있는가?
• RQ3 각 블록에서 독립적인 자기어텐션과 비교해 복수 계층 간 어텐션 상호작용이 표현 품질과 훈련 안정성을 향상시키는가?
• RQ4 자기-크로스 어텐션 메커니즘이 특징 진화와 일반화에 미치는 영향은 무엇이며, 특히 소량의 학습 데이터(저샷 러닝 시나리오)에서 어떻게 작용하는가?

주요 결과

• CVUSA 데이터셋에서 EgoTR는 94.05%의 탑-1 정확도를 기록하여 표준 자기어텐션 기반 베이스라인 대비 0.79% 향상된 성능을 보였다.
• 소량의 학습 데이터를 사용하는 크로스뷰 지오로컬라이제이션 작업에서, 자기어텐션을 자기-크로스 어텐션으로 대체함으로써 모든 샘플링 설정(20%, 40%, 60%)에서 일관되게 성능 향상이 관찰되었다.
• 코사인 유사도 분석 결과, 자기-크로스 어텐션은 계층 간 표현 유사도를 크게 감소시켜 더 구분되고 진화하는 특징 표현을 나타냈다.
• 정성적 분석 결과, 학습된 위치 임베딩이 상대적 공간 오프셋을 포착하고, 이미지 중심 근처에서의 객체 간격 변화와 같은 시각적 왜곡을 반영함을 확인했다.
• 모델의 위치 인코딩은 크로스뷰 기하학적 정렬을 성공적으로 인코딩했으며, 이를 증명하기 위해 편평한 변환 후 Polar-EgoTR와 비교했을 때 EgoTR는 명확한 임베딩 패턴을 보였다.