[논문 리뷰] Semantic Image Based Geolocation Given a Map

Arsalan Mousavian, Jana Košecká|arXiv (Cornell University)|2016. 09. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 19

한 줄 요약

이 논문은 2차원 지도와 희소한 지오태깅된 기준 시점들을 사용하여 의미적 이미지 기반 지오로케이션을 위한 새로운 방법을 제안한다. 건물 외관의 3차원 기하학적 제약과 지도 데이터를 활용하여 외관 기반 건물 식별을 결합함으로써, 기하학적 방법에 비해 특히 표준 시야각 이미지에서 시야 겹침이 적은 상황에서 정위치 정확도를 크게 향상시키는 확률적 자세 가능성 지도를 계산한다.

ABSTRACT

The problem visual place recognition is commonly used strategy for localization. Most successful appearance based methods typically rely on a large database of views endowed with local or global image descriptors and strive to retrieve the views of the same location. The quality of the results is often affected by the density of the reference views and the robustness of the image representation with respect to viewpoint variations, clutter and seasonal changes. In this work we present an approach for geo-locating a novel view and determining camera location and orientation using a map and a sparse set of geo-tagged reference views. We propose a novel technique for detection and identification of building facades from geo-tagged reference view using the map and geometry of the building facades. We compute the likelihood of camera location and orientation of the query images using the detected landmark (building) identities from reference views, 2D map of the environment, and geometry of building facades. We evaluate our approach for building identification and geo-localization on a new challenging outdoors urban dataset exhibiting large variations in appearance and viewpoint.

연구 동기 및 목표

• 희소하고 상이한 시야를 가진 기준 시점들과 제한된 시야각을 가진 쿼리 이미지에서 도시 환경에서의 정위치 정확도를 높이는 데 도전하는 것.
• 다중 시야가 겹치지 않아 전통적인 삼각측량이 불가능한 상황에서 정위치 정확도를 향상시키는 것.
• 공개된 지도 데이터(예: OpenStreetMap)와 건물 외관의 3차원 기하학을 활용하여 자세 추정을 향상시키는 것.
• 외관 매칭, 건물 식별, 기하학적 제약을 융합하는 확률적 프레임워크를 개발하여 강력한 지오로케이션을 실현하는 것.
• 시각적 겹침이 최소한일 경우에도 정확한 정위치를 가능하게 하는 것.

제안 방법

• 지도 데이터와 건물 외관의 기하학적 제약을 활용하여 희소한 지오태깅된 기준 시점들의 카메라 방향을 추정한다.
• 지도 보조 기하학과 외관 매칭을 사용하여 기준 이미지에서 의미적 세그먼테이션과 건물 식별을 수행한다.
• 쿼리 이미지에 대해서는 백오브비주얼워즈(BoW)를 사용하여 유사한 기준 시점을 검색하고, 외관 기반 매칭을 통해 건물 식별을 추론한다.
• 단일 쿼리 시점에서 단안 재구성 기법을 사용하여 3차원 기하학적 서명을 계산함으로써 외관 기하학과 방향을 추정한다.
• 확률적 모델을 사용하여 외관 매칭, 건물 식별, 지도와의 기하학적 일致성에 기반한 증거를 융합하여 자세 가능성 지도를 계산한다.
• 10m 간격의 위치와 각 위치당 120개의 방향에 대해 그리드 기반 검색을 수행하여 쿼리 이미지의 자세에 대한 전체 확률 지ap을 계산한다.

실험 결과

연구 질문

• RQ1 겹치지 않는 두 기준 시점이 없는 희소한 지오태깅된 기준 시점과 2차원 지도를 조합하여, 쿼리 이미지의 정위치 정확도를 확보할 수 있는가?
• RQ2 표준 시야각 이미지에서 기하학적 서명만을 사용하는 것과 비교해 건물 식별을 통합할 경우 정위치 정확도는 얼마나 향상되는가?
• RQ3 밀도 높은 시각적 겹침이 없는 상황에서 외관 기반 건물 식별은 자세 가능성 추정에 얼마나 기여하는가?
• RQ4 파노라마 또는 고밀도 샘플링된 시점을 기반으로 하는 기존 방법들과 비교해 본 방법은 어떻게 성능을 냈는가?
• RQ5 건물 식별 정확도와 정위치 성능에 대해, 간소화된 추론과 탐욕적 할당 방식의 영향은 어떠한가?

주요 결과

• 마진화된 할당을 사용할 경우, 픽셀 수준의 건물 식별 정확도가 0.7627에 도달하였으며, 이는 k=1일 때 지도 기반 참값 정확도 0.7543에 매우 가까운 결과이다.
• k=8일 때, 비지도 마진화된 할당은 81.77%의 픽셀 수준 정확도를 달성하여 탐욕적 할당(81.44%)을 초월하고 지도 기반 기준(82.54%)에 가까워졌다.
• 기하학적 서명과 건물 식별을 모두 사용한 정위치는 기하학적 서명만 사용한 경우에 비해 평균 정위치 오차를 최대 30%까지 감소시켰으며, 그림 9에서 이를 확인할 수 있다.
• 이 방법은 다수의 가능성이 있는 위치를 포괄하는 자세 확률 지도를 생성하여, 대칭적이거나 반복적인 도시 환경에서의 정위치 모호성을 해결한다.
• 마진화된 추론은 탐욕적 선택에 비해 건물 식별 추정을 향상시키며, k=1일 때 정확도에 1.5%의 상대적 향상이 있었다.
• 이 방법은 표준 시야각 이미지에서 기하학적 서명만을 사용하는 기하학 중심 방법보다 뚜렷이 뛰어나며, 이러한 환경에서 기하학적 서명만으로는 신뢰할 만한 정위치를 확보하기에 부족하다는 점을 입증한다.