[논문 리뷰] You Are Here: Geolocation by Embedding Maps and Images

Noe Samano, Mengjie Zhou외 1명|arXiv (Cornell University)|2019. 11. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 GPS 없이 지도 타일과 파ano라믹 이미지를 공유 16차원 공간에 임bedding하는 딥러닝 방법을 제안한다. 시아모이 네트워크와 트리플릿 손실을 활용하여 정확한 루트 기반 지도화를 가능하게 하며, 구글 스트리트 뷰와 오픈스트리트맵 데이터를 사용해 200m 루트에서 90% 이상의 정확도를 달성한다. 이는 이전의 수작업 특징 기반 방법보다 일반화 및 분류 능력에서 뛰어나다.

ABSTRACT

We present a novel approach to geolocalising panoramic images on a 2-D cartographic map based on learning a low dimensional embedded space, which allows a comparison between an image captured at a location and local neighbourhoods of the map. The representation is not sufficiently discriminatory to allow localisation from a single image, but when concatenated along a route, localisation converges quickly, with over 90% accuracy being achieved for routes of around 200m in length when using Google Street View and Open Street Map data. The method generalises a previous fixed semantic feature based approach and achieves significantly higher localisation accuracy and faster convergence.

연구 동기 및 목표

• GPS 또는 지오레퍼런스된 이미지 데이터베이스에 의존하지 않고 2D 지도 데이터를 이용해 파노라믹 이미지를 안정적이고 일반화 가능한 방식으로 지도화하는 방법을 개발하는 것.
• 고정된 의미적 특징(예: 교차로, 간격)은 특징이 희박한 도시 지역에서 성능이 떨어지는 한계를 극복하는 것.
• 이미지와 지도 타일 표현이 의미적으로 정렬된 저차원 임베딩 공간을 학습하여 유클리드 거리로 직접 비교할 수 있도록 하는 것.
• 일련의 이미지가 아닌 루트 수준의 기술자 매칭이 가능해지며, 개별 이미지의 분류 능력이 제한된 경우에도 정확한 지도화를 가능하게 하는 것.
• 다양한 도시 환경에서 특징 밀도가 다양할 때에도 일반화 및 내구성이 뛰어나다는 것을 검증하는 것.

제안 방법

• 파노라믹 이미지(4방향)와 지역 지도 타일을 공유 16차원 임베딩 공간에 매핑하기 위해 트리플릿 손실을 사용하는 시아모이 유사 딥 네트워크를 훈련한다.
• 특징 추출 및 투영 레이어를 사용하여 이미지와 지도 타일에 대해 압축된 기술자를 생성하며, 이로 인해 대응하는 쌍이 임베딩 공간에서 가까워지도록 한다.
• 지도화는 루트의 지도 타일 시퀀스에서 추출한 루트 기술자와 루트를 따라 촬영된 이미지 시퀀스에서 유도된 쿼리 기술자를 비교하여 수행된다.
• 일반적인 루트 매칭 알고리즘을 사용하여 모든 가능한 루트 기술자를 쿼리와 비교하고, 가능성 있는 위치의 순위 목록을 생성한다.
• 대규모 GSV 및 OSM 데이터에서 유도된 데이터 기반 표현을 학습함으로써 고정된 의미적 특징을 넘어서는 일반화를 달성한다.
• 검색 과정에서 루트 후보가 잘리며, 각 단계에서 후보의 50%가 제거되어도 성능이 유지되어 초기 단계에서 이미 분류가 일어남을 시사한다.

실험 결과

연구 질문

• RQ1 파노라믹 이미지와 지역 지도 타일을 효과적으로 정렬하기 위해 깊이 있는 임베딩 공간을 학습할 수 있는가?
• RQ2 데이터 기반 표현을 학습하는 것이 고정된 의미적 특징(예: 교차로, 간격)보다 다양한 도시 환경에서 일반화 및 정확도 측면에서 뛰어나지 않는가?
• RQ3 일반적인 단일 이미지 매칭에 비해 루트 수준의 기술자 매칭이 지도화 정확도를 얼마나 향상시키는가?
• RQ4 이전 방법이 실패하는 특징 밀도가 낮은 지역에서 이 방법의 성능은 어떠한가?
• RQ5 임베딩 공간과 회전 정보 중 어느 것이 루트 지도화에 더 큰 기여를 하는가?

주요 결과

• 학습된 임베딩 공간을 사용한 지도화 작업에서 상위 1% 재현율은 72%에서 82% 사이를 기록한다.
• 모든 테스트 도시 지역(2–3 km²)에서 약 200미터 길이의 루트에 대해 90% 이상의 지도화 정확도를 달성한다.
• 이전의 수작업 특징 기반 기술자(BSD) 방법보다 뚜렷이 뛰어나며, 특히 교차로 및 간격 밀도가 낮은 지역에서 BSD의 정확도가 60% 이하로 떨어지는 데 비해 이 방법은 높은 성능 유지를 보인다.
• 모든 테스트 지역에서 일관된 높은 성능을 기록하여 강력한 일반화 능력을 입증하며, 임베딩 공간은 BSD 방법과 다른 의미적 단서를 학습한다.
• 차이 점수 분석 결과, 임베딩 공간 방법으로 성공적으로 지도화된 약 30–40%의 루트는 BSD 방법으로는 지도화되지 않았으며, 이는 상호보완적이고 더 다양한 특징 학습을 함을 시사한다.
• 검색 과정에서 루트 후보의 50%가 제거되어도 지도화 정확도가 안정적으로 유지되어, 루트 시퀀스의 초기 단계에서 이미 분류가 일어남을 나타낸다.