[논문 리뷰] Fine-Grained Cross-View Geo-Localization Using a Correlation-Aware Homography Estimator

Xiaolong Wang, Runsen Xu외 3명|arXiv (Cornell University)|2023. 08. 31.

Robotics and Sensor-Based Localization인용 수 4

한 줄 요약

이 논문은 지형 제약을 갖춘 구면 변환을 사용하여 지면 수준의 파ano라믹 이미지를 조망도로 투영함으로써, GPS 태그가 부여된 위성 이미지와 정렬하는 엔드 투 엔드 방법인 HC-Net을 제안한다. 관련성 인식형 호모그래피 추정기로 정밀한 2차원 이미지 정렬을 수행하여, 서브픽셀 정확도와 30 FPS 추론을 달성하며, VIGOR 벤치마크의 동일 영역 및 교차 영역 분할에서 평균 국지화 오차를 각각 21.3%와 32.4% 감소시킨다.

ABSTRACT

In this paper, we introduce a novel approach to fine-grained cross-view geo-localization. Our method aligns a warped ground image with a corresponding GPS-tagged satellite image covering the same area using homography estimation. We first employ a differentiable spherical transform, adhering to geometric principles, to accurately align the perspective of the ground image with the satellite map. This transformation effectively places ground and aerial images in the same view and on the same plane, reducing the task to an image alignment problem. To address challenges such as occlusion, small overlapping range, and seasonal variations, we propose a robust correlation-aware homography estimator to align similar parts of the transformed ground image with the satellite image. Our method achieves sub-pixel resolution and meter-level GPS accuracy by mapping the center point of the transformed ground image to the satellite image using a homography matrix and determining the orientation of the ground camera using a point above the central axis. Operating at a speed of 30 FPS, our method outperforms state-of-the-art techniques, reducing the mean metric localization error by 21.3% and 32.4% in same-area and cross-area generalization tasks on the VIGOR benchmark, respectively, and by 34.4% on the KITTI benchmark in same-area evaluation.

연구 동기 및 목표

• 위성 패치 분할로 인해 수십 미터 오차를 겪는 근시적 교차 시점 국지화 방법의 한계를 해결하기 위해.
• 세분화된 지오로컬라이제이션에서 샘플링 기반 및 디스크립터 분할 방법의 높은 계산 비용과 낮은 해상도 문제를 극복하기 위해.
• 사전 자세 추정 또는 광범위한 데이터 증강을 요구하지 않고 정확하고 실시간 국지화를 가능하게 하기 위해.
• 관련성 인식형 호모그래피 추정 모듈을 도입하여 조밀한 매칭 점 감독에 대한 의존도를 줄이기 위해.
• 재학습 없이도 다양한 도시 환경, 특히 미리 보지 않은 도시에서의 일반화 능력을 향상시키기 위해.

제안 방법

• 지면 수준의 파노라믹 이미지에 대해 가역적인 구면 변환을 적용하여, 지상 카메라의 영상 모델을 사용해 조망도로의 시점과 정렬된 비전도로 투영한다.
• 구면 변환을 통해 변환된 지면 이미지와 위성 이미지 간의 직접적인 2차원 이미지 정렬이 가능해지며, 이는 기하학적 정렬 문제로 축소된다.
• 반복적 최적화를 피하기 위해, 관련성 인식형 호모그래피 추정기는 순환 컨볼루션 신경망을 사용하여 기능 맵에서 유사 영역 간의 상관관계를 최대화하면서 관측 불가능하거나 가림 영역을 억제한다.
• 네 점 매칭 감독에 대한 의존도를 최소화하기 위해, 직접적으로 엔드 투 엔드로 호모그래피 행렬을 학습한다.
• 네트워크는 중심이 조망도로의 위성 이미지에 매핑되는 호모그래피 행렬을 출력하며, 이는 정밀한 GPS 위치 및 요아 추정을 가능하게 한다.
• 공유되지 않은 가중치를 갖는 가짜 시아메스 백본이 지면 및 위성 이미지를 별도로 처리하여 기능 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 가역적인 구면 변환은 교차 시점 국지화를 위한 지면 시점과 조망도 시점 간의 도메인 갭을 효과적으로 해소할 수 있는가?
• RQ2 관련성 인식형 호모그래피 추정기는 가림되거나 겹침이 적은 상황에서 전통적인 기능 기반 방법보다 우월한 성능을 보일 수 있는가?
• RQ3 제안된 방법은 동일 영역 및 교차 영역 일반화 모두에서 SOTA 기법보다 더 높은 정확도와 더 빠른 추론 속도를 달성하는가?
• RQ4 CVUSA 데이터셋에서 재학습 없이도 모델이 새로운 도시로 일반화되는가?
• RQ5 네 점 매칭 감독이 없는 경우 호모그래피 추정 정확도에 어떤 정도의 영향을 미치는가?

주요 결과

• HC-Net은 VIGOR 벤치마크의 동일 영역 분할에서 SOTA 기법 대비 평균 국지화 오차를 21.3% 감소시키고, 교차 영역 분할에서는 32.4% 감소시켰다.
• KITTI 벤치마크에서, ±10° 자세 사전 지식이 있는 동일 영역 평가에서, CCVPE 대비 평균 오차가 34.4% 낮았다.
• 모델은 30 FPS로 실행되어 높은 계산 효율성을 보였으며, 파rameter 수는 11.21M, 메모리 사용량은 1900 MiB였다.
• 절단 실험 결과, 공유 가중치 대비 가짜 시아메스 백본이 평균 오차를 0.71m 감소시켰다.
• 호모그래피 모듈을 SuperGlue 또는 LoFTR로 교체할 경우, 평균 오차는 각각 13.06m와 28.85m로 증가했으며, 이는 제안된 모듈의 우수성을 입증한다.
• 모델은 재학습 없이도 새로운 도시로 잘 일반화되어, CVUSA에서의 BEV 투영을 위성 이미지와 성공적으로 정렬했다.