[논문 리뷰] University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization

Zhedong Zheng, Yunchao Wei외 1명|arXiv (Cornell University)|2020. 02. 27.

Advanced Neural Network Applications참고 문헌 41인용 수 9

한 줄 요약

이 논문은 합성 드론, 위성 및 지상 시각 이미지를 포함한 1,652개의 대학 건물로 구성된 다중 시점, 다중 소스 드론 기반 지리적 위치 특정을 위한 최초의 벤치마크인 University-1652를 소개한다. 다중 브랜치 CNN 기반 모델을 통해 시점에 강인한 특징을 학습함으로써, 기존 및 새로운 벤치마크에서 최신 기술 수준의 성능을 달성하며 뛰어난 일반화 능력을 보인다.

ABSTRACT

We consider the problem of cross-view geo-localization. The primary challenge of this task is to learn the robust feature against large viewpoint changes. Existing benchmarks can help, but are limited in the number of viewpoints. Image pairs, containing two viewpoints, e.g., satellite and ground, are usually provided, which may compromise the feature learning. Besides phone cameras and satellites, in this paper, we argue that drones could serve as the third platform to deal with the geo-localization problem. In contrast to the traditional ground-view images, drone-view images meet fewer obstacles, e.g., trees, and could provide a comprehensive view when flying around the target place. To verify the effectiveness of the drone platform, we introduce a new multi-view multi-source benchmark for drone-based geo-localization, named University-1652. University-1652 contains data from three platforms, i.e., synthetic drones, satellites and ground cameras of 1,652 university buildings around the world. To our knowledge, University-1652 is the first drone-based geo-localization dataset and enables two new tasks, i.e., drone-view target localization and drone navigation. As the name implies, drone-view target localization intends to predict the location of the target place via drone-view images. On the other hand, given a satellite-view query image, drone navigation is to drive the drone to the area of interest in the query. We use this dataset to analyze a variety of off-the-shelf CNN features and propose a strong CNN baseline on this challenging dataset. The experiments show that University-1652 helps the model to learn the viewpoint-invariant features and also has good generalization ability in the real-world scenario.

연구 동기 및 목표

• 큰 시점 변화가 발생하는 상황에서 특히 훈련 시점이 제한된 경우에 대한 교차 시점 지리적 위치 특정 과제를 해결한다.
• 기존의 지상 및 위성 시점과 비교해 목표 위치를 포괄적이고 장애물 없는 시점으로 제공하는 새로운 데이터 플랫폼인 드론을 도입한다.
• 다양한 시점(드론, 위성, 지상)을 지원하고 표준 이미지 검색을 넘어서는 새로운 작업을 가능하게 하는 벤치마크를 개발한다.
• 세 가지 서로 다른 이미지 소스 간의 시점에 강인한 특징을 학습하는 확장 가능한 다중 소스 CNN 기반 모델을 제안한다.
• 피지컬 튜닝 없이도 Oxford 및 Paris와 같은 표준 벤치마크에서 학습된 특징의 일반화 능력을 입증한다.

제안 방법

• Google Earth의 3D 엔진을 사용해 각 건물당 다양한 고도와 각도에서 54장의 드론 시점 이미지를 합성하여 실제 드론 비행 경로를 시뮬레이션한다.
• 지상 시점 이미지는 스트리트 레벨 카메라(예: Google 스트리트 뷰)에서 수집하고, 위성 이미지는 공공 소스에서 확보하여 다중 소스 데이터셋을 구성한다.
• 각 브랜치가 서로 다른 소스(드론, 위성, 지상)의 이미지를 처리하는 다중 브랜치 시아모이스 스타일의 CNN을 설계하며, 공통된 특징 추출과 트리플릿 손실을 사용한다.
• 다양한 시점과 소스 간의 동일 클래스 간 거리 최소화 및 이질 클래스 간 거리 최대화를 위해 트리플릿 손실을 사용해 모델을 훈련한다.
• 두 가지 새로운 작업을 가능하게 한다: (1) 드론 시점 대상 위치 특정(드론 이미지에서 정확한 건물을 검색), (2) 드론 항법(위성 쿼리만을 사용해 목표지점으로 드론을 이동).
• 표준 메트릭인 R@1, R@5, R@10를 사용해 University-1652와 이중 시점 벤치마크 CVUSA에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 합성 드론 시점 이미지가 지상 시점과 위성 시점 간의 시각적 격차를 지리적 위치 특정 작업에서 효과적으로 메우는가?
• RQ2 드론, 위성, 지상 시점을 포함한 다중 소스 데이터를 통합함으로써 이중 소스 기반 벤치마크에 비해 시점에 강인한 특징 학습이 향상되는가?
• RQ3 제안된 다중 브랜치 CNN 기반 모델이 피지컬 튜닝 없이도 Oxford 및 Paris와 같은 실세계 소규모 데이터셋에 잘 일반화되는가?
• RQ4 이미지 검색만을 사용해도 드론 시점 대상 위치 특정 및 드론 항법과 같은 새로운 작업을 얼마나 효과적으로 지원하는가?
• RQ5 전이 학습 시나리오에서 각 소스에서 학습된 특징(예: 지상 vs. 위성 vs. 드론) 간의 상대적 성능은 어떠한가?

주요 결과

• 제안된 다중 브랜치 CNN 기반 모델은 VGG-16 백본을 사용해 CVUSA 벤치마크에서 R@1 43.91%를 달성하여 CVM-Net 및 Orientation과 같은 이전 방법들을 능가했다.
• University-1652에서 훈련된 모델은 소규모 벤치마크인 Paris에 대해 잘 일반화되었으며, 지상 시점 특징 브랜치($\mathcal{F}_{g}$)는 ImageNet 전이 학습(6.77%)을 초월해 28.77% AP를 기록했다.
• 드론 시점 특징 브랜치($\mathcal{F}_{s}$)는 University-1652에서 뛰어난 성능을 보였으며, 합성 드론 데이터가 시점에 강인한 표현을 효과적으로 포착함을 시사한다.
• University-1652에서의 전이 학습은 ROxford 및 RParis 데이터셋에서 중간 및 어려운 설정 모두에서 정확도 향상을 보였으며, $\mathcal{F}_{g}$는 RParis (M)에서 24.24%, (H)에서 10.29%의 AP를 기록했다.
• 모델은 확장성과 유연성을 보였으며, 아키텍처를 대대적으로 수정하지 않고도 브랜치 수를 조정하여 이중 소스에서 삼중 소스로 쉽게 확장 가능했다.
• 기반 모델은 CVUSA에서 R@Top1 91.78%를 기록해 데이터 증강 또는 특징 앙상블 기법 없이도 뛰어난 성능을 보였다.