[논문 리뷰] Large-scale Image Geo-Localization Using Dominant Sets

Eyasu Zemene, Yonatan Tariku외 4명|arXiv (Cornell University)|2017. 02. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 특징 분별력에 기반해 동적으로 다수의 최근접 이웃을 선택하고 효율적인 게임 이론적 동역학을 활용함으로써 강건한 특징 매칭과 제약 조건이 있는 군집화를 위한 주로드 세트 군집화(Dominant Set Clustering, DSC)를 사용하는 빠르고 정확한 대규모 이미지 지오로컬라이제이션 프레임워크를 제안한다. 특징 분별력에 기반해 최근접 이웃을 동적으로 선택하고 게임 이론적 동역학을 활용함으로써, 102만 장 및 300만 장의 이미지 데이터셋에서 각각 최신 기술 대비 20% 및 7%의 정확도 향상을 달성하면서도 이전 방법 대비 200배 빠른 성능을 보였다.

ABSTRACT

This paper presents a new approach for the challenging problem of geo-locating an image using image matching in a structured database of city-wide reference images with known GPS coordinates. We cast the geo-localization as a clustering problem on local image features. Akin to existing approaches on the problem, our framework builds on low-level features which allow partial matching between images. For each local feature in the query image, we find its approximate nearest neighbors in the reference set. Next, we cluster the features from reference images using Dominant Set clustering, which affords several advantages over existing approaches. First, it permits variable number of nodes in the cluster which we use to dynamically select the number of nearest neighbors (typically coming from multiple reference images) for each query feature based on its discrimination value. Second, as we also quantify in our experiments, this approach is several orders of magnitude faster than existing approaches. Thus, we obtain multiple clusters (different local maximizers) and obtain a robust final solution to the problem using multiple weak solutions through constrained Dominant Set clustering on global image features, where we enforce the constraint that the query image must be included in the cluster. This second level of clustering also bypasses heuristic approaches to voting and selecting the reference image that matches to the query. We evaluated the proposed framework on an existing dataset of 102k street view images as well as a new dataset of 300k images, and show that it outperforms the state-of-the-art by 20% and 7%, respectively, on the two datasets.

연구 동기 및 목표

• 시각적 특징을 활용한 정확하고 효율적인 대규모 이미지 지오로컬라이제이션 문제를 해결한다.
• 고정된 최근접 이웃 수와 히우리스틱 투표 방식에 의존하는 기존 방법의 한계를 극복한다.
• 기존 GPS 좌표가 알려진 도시 규모의 이미지 매칭을 위한 확장성 있고 빠르며 강건한 솔루션을 개발한다.
• 특징의 분별력에 기반해 각 쿼리 특징에 대해 최근접 이웃을 동적으로 선택함으로써 매칭 정확도를 향상시킨다.
• 쿼리 이미지가 최종 군집에 포함되도록 보장하는 제약 조건이 있는 DSC 프레임워크를 도입함으로써 히우리스틱 투표 방식의 필요성을 제거한다.

제안 방법

• 참조 이미지의 국소적 특징을 군집화하기 위해 주로드 세트 군집화(DSC)를 사용하여 가변적인 군집 크기와 강건한 이방자 처리를 가능하게 한다.
• 선형 시간/공간 복잡도를 갖는 감염-면역화 동역학(InImDyn)을 적용하여 DSC 문제를 해결함으로써 최대 200배의 속도 향상을 달성한다.
• 특징 분별력에 기반해 각 쿼리 특징에 대해 다수의 최근접 이웃을 동적으로 선택한다—모호한 특징에는 더 많은 이웃, 명확한 특징에는 더 적은 이웃을 선택한다.
• 쿼리 기반 제약 조건이 있는 DSC 설정을 통해 다수의 국소 최대값을 하나의 강력한 해로 통합함으로써 쿼리가 최종 군집에 포함되도록 보장한다.
• 글로벌 특징(예: NetVLAD, GIST, HSV)의 융합은 정규화된 유사도 점수에 기반해 가중치를 부여하여 후처리를 위한 분별력 있는 입력 그래프를 구축한다.
• 임의의 검색 파이프라인에 DSC 후처리 단계를 통합할 수 있으며, 평균적으로 쿼리당 0.003초 미만의 추가 지연 시간을 유발한다.

실험 결과

연구 질문

• RQ1 특징 분별력에 기반한 적응형 최근접 이웃 선택이 지오로컬라이제이션 정확도를 향상시킬 수 있는가?
• RQ2 게임 이론적 동역학을 활용한 주로드 세트 군집화는 NP-완전 문제인 GMCP보다 빠르고 정확도가 높을 수 있는가?
• RQ3 쿼리 이미지를 군집에 포함시키는 제약 조건이 있는 DSC는 히우리스틱 투표 방식의 필요성을 제거하는가?
• RQ4 다양한 글로벌 특징을 융합함으로써 후처리 단계의 성능 향상 정도는 어느 정도인가?
• RQ5 제안된 방법은 대규모 데이터셋(예: 300만 장)에 대해 효과적으로 스케일업할 수 있는가? 이는 고정밀도와 저지연 시간을 유지하면서 가능할까?

주요 결과

• 제안된 방법은 102만 장의 Google Street View 데이터셋에서 최신 기술 대비 20%의 정확도 향상을 달성한다.
• 더 큰 300만 장의 이미지로 구성된 WorldCities 데이터셋에서는 기존 방법 대비 7%의 정확도 향상을 기록한다.
• 효율적인 InImDyn 동역학과 선형 근사화 덕분에 GMCP 기반 접근 대비 평균적으로 200배 빠른 성능을 보인다.
• 기존 검색 파이프라인에 제약 조건이 있는 DSC를 후처리로 적용할 경우 랭크-1 정확도가 최대 7% 향상되며, 쿼리당 평균 0.003초 미만의 추가 지연 시간을 유발한다.
• 분별력에 기반해 NetVLAD, CNN6, CNN7, GIST, HSV 등의 다수 글로벌 특징을 융합함으로써 개별 특징을 사용하는 것보다 더 우수한 성능을 달성한다.
• 제약 조건이 있는 DSC 접근 방식은 직접적으로 쿼리 포함을 보장함으로써 히우리스틱 투표를 회피하여 더 강력하고 일관성 있는 결과를 도출한다.