[논문 리뷰] Lending Orientation to Neural Networks for Cross-view Geo-localization

Liu Liu, Hongdong Li|arXiv (Cornell University)|2019. 03. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 11

한 줄 요약

이 논문은 크로스뷰 지오로컬라이제이션 성능을 햖을 수 있도록 각 픽셀의 방향성을 추가 특성 맵으로 명시적으로 인코딩하는 OriCNN을 제안한다. 이는 검색 정확도를 크게 향상시키며, 새로운 CVACT 벤치마크에서 25.8%의 top-1 리콜을 달성하여 기존 방법을 능가한다. 방향성 정보를 통합함으로써, 파arameter 수의 1/5만을 사용하면서도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper studies image-based geo-localization (IBL) problem using ground-to-aerial cross-view matching. The goal is to predict the spatial location of a ground-level query image by matching it to a large geotagged aerial image database (e.g., satellite imagery). This is a challenging task due to the drastic differences in their viewpoints and visual appearances. Existing deep learning methods for this problem have been focused on maximizing feature similarity between spatially close-by image pairs, while minimizing other images pairs which are far apart. They do so by deep feature embedding based on visual appearance in those ground-and-aerial images. However, in everyday life, humans commonly use {\em orientation} information as an important cue for the task of spatial localization. Inspired by this insight, this paper proposes a novel method which endows deep neural networks with the `commonsense' of orientation. Given a ground-level spherical panoramic image as query input (and a large georeferenced satellite image database), we design a Siamese network which explicitly encodes the orientation (i.e., spherical directions) of each pixel of the images. Our method significantly boosts the discriminative power of the learned deep features, leading to a much higher recall and precision outperforming all previous methods. Our network is also more compact using only 1/5th number of parameters than a previously best-performing network. To evaluate the generalization of our method, we also created a large-scale cross-view localization benchmark containing 100K geotagged ground-aerial pairs covering a city. Our codes and datasets are available at \url{https://github.com/Liumouliu/OriCNN}.

연구 동기 및 목표

• 딥 러닝 기반 접근 방식에서 자주 간과되는 기하학적 단서로써 방향성을 활용하여 이미지 기반 지오로컬라이제이션 성능을 향상시키는 것.
• 시야와 외관이 극명하게 다를 수 있는 지상의 풍경 사진과 지도상의 항공사진 간의 매칭 문제를 해결하는 것.
• 방향성 인식 특징 학습을 통해 특징의 구분 능력을 높이는 컴act하고 플러그인 방식으로 호환 가능한 방법을 개발하는 것.
• 도시 규모의 지오로컬라이제이션 벤치마크를 위한 대규모로 완전히 GPS 태그가 된 크로스뷰 데이터셋(CVACT)을 구축하는 것.
• 기하학적 사전 지식인 방향성과 같은 정보가 시각 작업에서 딥 네트워크 일반화 능력을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 논문은 풍경 사진의 각 픽셀에 대한 구면 좌표에서 유도된 픽셀별 방향성 맵을 도입하여, 이를 컨볼루션 신경망의 추가 입력 채널로 사용한다.
• 대조 손실을 사용하여 양성 쌍 간의 유사도를 극대화하고 부정 쌍 간의 유사도를 최소화함으로써, 시각적 외관과 방향 기하학적 특징을 함께 임베딩하는 시아모닉 컨볼루션 신경망 아키텍처를 학습한다.
• 방향성 맵은 풍경 사진 내 각 픽셀의 방위각을 사용하여 계산되며, 360도 전방위에 걸쳐 방향적 맥락을 제공한다.
• 네트워크는 지상에서 항공사진으로 이어지는 대규모 이미지 쌍 데이터셋에서 엔드 투 엔드로 학습되며, 방향성 맵은 별도의 입력 스트림으로 통합된다.
• 이 방법은 모듈식이며, 기하학적 인식이 필요한 다른 시각 작업을 위한 기존 딥 러닝 파ip라인에 쉽게 통합될 수 있다.
• 외관과 방향성 기반의 감독을 결합한 새로운 손실 함수를 통해 특징의 밀도와 구분 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 각 픽셀의 방향성을 명시적으로 인코딩하면 딥 네트워크의 크로스뷰 지오로컬라이제이션 성능 향상에 기여할 수 있는가?
• RQ2 방향성과 같은 기하학적 단서를 통합할 경우, 학습된 딥 특징의 구분 능력은 어떻게 영향을 받는가?
• RQ3 경량 방향성 맵을 사용하여 모델 복잡도를 증가시키지 않고 성능 향상을 효과적으로 달성할 수 있는가?
• RQ4 제안된 방법은 대규모 도시 수준의 지오로컬라이제이션 작업에 어떻게 일반화되는가?
• RQ5 방향성 정보는 지상 이미지와 위성 영상 간 매칭의 모호성을 어느 정도 감소시키는가?

주요 결과

• 제안된 OriCNN 방법은 CVACT 벤치마크에서 25.8%의 top-1 리콜을 달성하여 이전 최고 성능 기준인 CVM-net 대비 15.84% 향상된 성능을 보였다.
• 방향성 인코딩이 없는 기준 모델 대비 top-1 리콜이 25% 이상 향상되어 기하학적 단서가 특징의 강력한 구분 능력을 제공한다는 것을 입증했다.
• 이전 최고 성능 네트워크 대비 파arameter 수의 1/5만을 사용하여 높은 효율성을 입증했다.
• CVACT 데이터셋은 캔버라의 300平方마일에 걸쳐 92,802개의 테스트 이미지 쌍을 포함하고 있어, CVUSA보다 훨씬 크고 현실적인 벤치마크를 제공한다.
• 데이터셋 분석 결과 현재 방법을 사용할 경우 총 19.90%의 쿼리만 5미터 이내로 정확히 로컬라이제이션되며, 이는 어려움과 향상된 모델의 필요성을 강조한다.
• 제거 실험 결과, 외관 특징이 고정되어 있어도 방향성 인코딩 자체가 성능 향상에 상당한 기여를 한다는 것이 확인되었다.