[논문 리뷰] Optimal Feature Transport for Cross-View Image Geo-Localization

Yujiao Shi, Xin Yu외 3명|arXiv (Cornell University)|2019. 07. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 엔트로피 정규화된 최적 운반 문제를 통해 도메인 특화 운반 행렬을 학습함으로써 지면 뷰와 항공 뷰 이미지 간의 특징을 명시적으로 정렬하는 가역적 신경망 모듈인 Cross-View Feature Transport (CVFT)을 제안한다. 공간적 레이아웃을 유지하고 도메인 간 격차를 줄임으로써, CVUSA에서 상위 1위 정확도를 61.43%로 향상시키고 상위 10위 정확도를 90.49%로 끌어올려 기존 최고 성능 기법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

This paper addresses the problem of cross-view image geo-localization, where the geographic location of a ground-level street-view query image is estimated by matching it against a large scale aerial map (e.g., a high-resolution satellite image). State-of-the-art deep-learning based methods tackle this problem as deep metric learning which aims to learn global feature representations of the scene seen by the two different views. Despite promising results are obtained by such deep metric learning methods, they, however, fail to exploit a crucial cue relevant for localization, namely, the spatial layout of local features. Moreover, little attention is paid to the obvious domain gap (between aerial view and ground view) in the context of cross-view localization. This paper proposes a novel Cross-View Feature Transport (CVFT) technique to explicitly establish cross-view domain transfer that facilitates feature alignment between ground and aerial images. Specifically, we implement the CVFT as network layers, which transports features from one domain to the other, leading to more meaningful feature similarity comparison. Our model is differentiable and can be learned end-to-end. Experiments on large-scale datasets have demonstrated that our method has remarkably boosted the state-of-the-art cross-view localization performance, e.g., on the CVUSA dataset, with significant improvements for top-1 recall from 40.79% to 61.43%, and for top-10 from 76.36% to 90.49%. We expect the key insight of the paper (i.e., explicitly handling domain difference via domain transport) will prove to be useful for other similar problems in computer vision as well.

연구 동기 및 목표

• 기존의 딥 메트릭 학습 기법들이 교차 뷰 이미지 지오로컬라이제이션에서 공간적 레이아웃을 활용하지 못하고 지면 뷰와 항공 뷰 간의 도메인 갭을 忽시한다는 한계를 해결하기 위해.
• 가장자리 특징 운반 메커니즘을 통해 지면 뷰와 항공 뷰 이미지 간의 도메인 이동을 명시적으로 모델링하여 특징 정렬을 향상시키기 위해.
• 교차 뷰 매칭 과정에서 국소 특징의 공간적 구조를 유지함으로써 정위치 정확도를 향상시키기 위해.
• 기존의 시아모이스 CNN 아키텍처에 통합할 수 있는 가역적이고 엔드 투 엔드로 훈련 가능한 모듈을 개발하기 위해.
• 실제 환경 조건, 특히 방향 오차 왜곡이 존재하는 상황에서도 대규모 벤치마크에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 지면 및 항공 뷰 이미지에서 특징을 독립적으로 추출하기 위해 이중 브랜치 시아모이스 CNN을 사용한다.
• 지면 뷰(예: 지면)에서 항공 뷰(예: 항공)로의 특징 맵 변환을 위해 Cross-View Feature Transport (CVFT) 모듈을 도입한다.
• 엔트로피 정규화된 최적 운반 문제에 적용된 가역적 Sinkhorn-Knopp 알고리즘을 통해 운반 행렬을 최적화함으로써 엔드 투 엔드 훈련이 가능하도록 한다.
• CVFT 레이어는 공간적 대응을 기반으로 특징을 재정렬하여 특징 공간에서 유사도 매칭을 향상시킨다.
• 양성 쌍 간의 거리를 최소화하고 부정 쌍 간의 거리를 최대화하기 위해 대비 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 운반된 특징에서 공간적 레이아웃 정보가 유지되어 정위치에 더 구분력 있는 특징이 된다.

실험 결과

연구 질문

• RQ1 특징 운반을 통한 명시적 도메인 적응이 표준 딥 메트릭 학습을 넘어서 교차 뷰 지오로컬라이제이션 성능을 향상시킬 수 있는가?
• RQ2 큰 시점 및 외관 차이가 존재하는 상황에서 특징의 공간적 레이아웃을 유지할 경우 정위치 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 CVFT 모듈이 지면 뷰와 항공 뷰 이미지 간의 도메인 갭을 어느 정도 감소시키는가?
• RQ4 방향 불일치 문제(일상적인 현실 도메인 과제)에 대해 이 방법은 얼마나 강건한가?
• RQ5 CVFT 프레임워크는 대규모 도시 수준의 지오로컬라이제이션 작업에 일반화 가능한가?

주요 결과

• CVUSA 데이터셋에서 제안된 방법은 상위 1위 정확도 61.43%를 달성하여 이전 최고 성능 기준 20.64%의 절대적 향상을 보였다.
• CVUSA에서 상위 10위 정확도는 90.49%에 도달하여 두 번째로 좋은 방법보다 14.09% 향상되었다.
• 대규모 CVACT_test 데이터셋에서, 이 방법은 두 번째로 좋은 방법 대비 상위 1위 정확도에서 28.87% 향상되어 실제 도시 수준의 정위치에서 강력한 성능을 보였다.
• 이 방법은 ±20° 방향 왜곡 조건에서도 뛰어난 성능을 유지하였으며, 방향 정렬 데이터로 테스트된 최고 성능 기법들조차도 이를 뛰어넘었다.
• 정성적 결과에서는 주거 지역과 반복적인 구조를 가진 복잡한 도심 교차로를 포함한 다양한 쿼리 이미지를 성공적으로 정위치한 것으로 나타났다.
• 시각화 결과에 따르면, CVFT 모듈이 도메인 간 특징 맵을 효과적으로 정렬하였으며, 운반된 지면 특징이 공간적 레이아웃과 활성화 패턴에서 해당 항공 뷰 특징과 밀접하게 일치하는 것으로 확인되었다.