[논문 리뷰] VIGOR: Cross-View Image Geo-localization beyond One-to-one Retrieval

Sijie Zhu, Taojiannan Yang외 1명|arXiv (Cornell University)|2020. 11. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 쿼리 이미지와 기준 이미지가 완벽하게 정렬되어 있지 않은 실제 조건에서의 크로스뷰 이미지 지오로컬라이제이션을 위한 대규모 벤치마크인 VIGOR을 소개한다. 쿼리와 기준 이미지 간의 정렬 불일치를 고려하여 다수의 반정도 양성 기준 이미지를 활용할 수 있는 새로운 IOU 기반 하이브리드 손실을 사용하는 엔드 투 엔드, 코arse-to-fine 프레임워크를 제안하며, 표준 검색 기반 성능을 뛰어넘는 미터 수준의 정밀도 향상을 달성한다.

ABSTRACT

Cross-view image geo-localization aims to determine the locations of street-view query images by matching with GPS-tagged reference images from aerial view. Recent works have achieved surprisingly high retrieval accuracy on city-scale datasets. However, these results rely on the assumption that there exists a reference image exactly centered at the location of any query image, which is not applicable for practical scenarios. In this paper, we redefine this problem with a more realistic assumption that the query image can be arbitrary in the area of interest and the reference images are captured before the queries emerge. This assumption breaks the one-to-one retrieval setting of existing datasets as the queries and reference images are not perfectly aligned pairs, and there may be multiple reference images covering one query location. To bridge the gap between this realistic setting and existing datasets, we propose a new large-scale benchmark -- VIGOR -- for cross-View Image Geo-localization beyond One-to-one Retrieval. We benchmark existing state-of-the-art methods and propose a novel end-to-end framework to localize the query in a coarse-to-fine manner. Apart from the image-level retrieval accuracy, we also evaluate the localization accuracy in terms of the actual distance (meters) using the raw GPS data. Extensive experiments are conducted under different application scenarios to validate the effectiveness of the proposed method. The results indicate that cross-view geo-localization in this realistic setting is still challenging, fostering new research in this direction. Our dataset and code will be released at \url{https://github.com/Jeff-Zilence/VIGOR}

연구 동기 및 목표

• 기존의 일대일 이미지 매칭 벤치마크와 실제 지오로컬라이제이션 시나리오 사이의 격차를 해소하기 위해, 쿼리 이미지와 기준 이미지가 완벽하게 정렬되어 있지 않은 상황을 고려한다.
• 실제 운영 조건을 반영하기 위해 임의의 쿼리 위치와 사전 촬영된 기준 이미지를 지원하는 더 실용적인 벤치마크를 개발한다.
• 이미지 수준의 검색 정확도 외에도 원시 GPS 데이터를 사용하여 실제 미터 수준의 정위치 정확도를 평가할 수 있도록 한다.
• 표준 검색을 뛰어넘는 정밀도를 향상시키기 위해 공동 검색 및 校正 프레임워크를 제안한다.
• 실제 내비게이션 과제를 시뮬레이션하기 위해 노이즈가 있는 GPS 조건 하에서 방법의 강건성을 검증한다.

제안 방법

• 쿼리와 기준 이미지가 완벽하게 정렬되어 있지 않은 현실적인 쌍을 포함한, 네 개의 미국 도시에서 촬영한 90,618장의 항공사진과 238,696장의 스트리트 뷰 이미지를 포함하는 대규모 데이터셋인 VIGOR을 제안한다.
• 두 단계로 구성된 엔드 투 엔드 프레임워크를 설계한다: 첫 번째 단계에서는 특징 매칭을 통해 가장 관련성이 높은 항공사진을 검색하고, 두 번째 단계에서는 검색된 이미지 내에서 오프셋을 회귀하여 정밀한 지오로컬라이제이션을 수행한다.
• 검색과 오프셋 예측을 동시에 지도하는 IOU 기반 하이브리드 손실을 도입하여, 훈련 중에 반정도 양성 기준 이미지를 효과적으로 활용한다.
• 10×10 격자 기반의 회귀 기반 오프셋 예측을 사용하여 정위치 정확도를 향상시키며, 분류 기반 접근 방식보다 미터 수준 정확도에서 뛰어난 성능을 기록한다.
• 항공사진 이미지 간에 일관된 양성 샘플 분포를 확보하기 위해 사전 처리 단계에서 샘플 균형 조정을 수행하여 훈련 안정성을 향상시킨다.
• 최대 ±100m의 오프셋을 시뮬레이션하고 국소화된 하위 영역으로 검색 범위를 제한함으로써 노이즈가 있는 GPS 조건 하에서 방법의 유효성을 검증하며, 실질적인 내비게이션 활용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 쿼리와 기준 이미지가 완벽하게 정렬되어 있지 않은 현실적인 환경에서 크로스뷰 지오로컬라이제이션은 높은 정확도를 달성할 수 있는가?
• RQ2 공동 검색 및 校정 프레임워크는 이미지 수준의 검색을 뛰어넘어 정위치 정확도를 얼마나 향상시키는가?
• RQ3 다수의 반정도 양성 기준 이미지를 활용하는 하이브리드 손실은 모델의 일반화 능력과 정위치 정확도를 향상시키는가?
• RQ4 노이즈가 있는 GPS 조건 하에서 제안된 방법은 원시 GPS 신호에 비해 정위치 오차를 얼마나 줄이는가?
• RQ5 오프셋 예측 방법의 선택(회귀 대 비해 분류)이 정밀한 지오로컬라이제이션 정확도에 미치는 영향은 어떠한가?

주요 결과

• 동일 지역 설정에서 제안된 방법은 상위 1위 검색 정확도 41.1%와 상위 5위 정확도 65.9%를 기록했으며, 200m 검색 범위 내에서 10미터 수준의 정위치 정확도는 37.7%를 달성했다.
• 회귀 기반 오프셋 예측은 검색 전용 또는 분류 기반 방법 대비 10미터 수준 정위치 정확도를 거의 두 배로 높였다.
• 하이브리드 IOU 기반 손실은 특히 정렬이 어긋난 환경에서 반정도 양성 샘플을 효과적으로 활용함으로써 성능을 크게 향상시켰다.
• 200m 검색 범위와 노이즈가 있는 GPS 조건 하에서, 상위 1위 정확도 60.9%, 상위 5위 정확도 90.6%를 기록하여 원시 GPS 신호에 비해 뚜렷한 성능 우월성을 입증했다.
• 동일 지역 평가에서 30미터 수준 정위치 정확도가 70% 이상을 기록하여 보조 내비게이션 분야에서 강력한 실용적 잠재력을 보였다.
• 항공사진 이미지당 3개의 양성 샘플을 사용한 샘플 균형 조정이 2개보다 略적으로 더 우수한 성능을 내었지만, 모든 설정에서 일관된 향상 효과를 보였다.