[논문 리뷰] Stochastic Attraction-Repulsion Embedding for Large Scale Image Localization

Liu Liu, Hongdong Li외 1명|arXiv (Cornell University)|2018. 08. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 대규모 이미지 기반 국소화를 위한 이미지 표현 학습을 향상시키기 위해 내부 장소 유사성과 외부 장소 이질성을 L2 거리의 확률 분포로 모델링하는 새로운 손실 함수인 Stochastic Attraction and Repulsion Embedding (SARE)을 제안한다. SARE는 예측된 매칭 가능성 분포와 진정된 값의 분포 간의 KL 발산을 최소화하며, 최신 기술 수준의 성능을 달성하였고, 2018년 구글 랜드마크 검색 챌린지에서 3위를 기록하였다.

ABSTRACT

This paper tackles the problem of large-scale image-based localization (IBL) where the spatial location of a query image is determined by finding out the most similar reference images in a large database. For solving this problem, a critical task is to learn discriminative image representation that captures informative information relevant for localization. We propose a novel representation learning method having higher location-discriminating power. It provides the following contributions: 1) we represent a place (location) as a set of exemplar images depicting the same landmarks and aim to maximize similarities among intra-place images while minimizing similarities among inter-place images; 2) we model a similarity measure as a probability distribution on L_2-metric distances between intra-place and inter-place image representations; 3) we propose a new Stochastic Attraction and Repulsion Embedding (SARE) loss function minimizing the KL divergence between the learned and the actual probability distributions; 4) we give theoretical comparisons between SARE, triplet ranking and contrastive losses. It provides insights into why SARE is better by analyzing gradients. Our SARE loss is easy to implement and pluggable to any CNN. Experiments show that our proposed method improves the localization performance on standard benchmarks by a large margin. Demonstrating the broad applicability of our method, we obtained the third place out of 209 teams in the 2018 Google Landmark Retrieval Challenge. Our code and model are available at https://github.com/Liumouliu/deepIBL.

연구 동기 및 목표

• 내부 장소 유인과 외부 장소 반발력을 명시적으로 모델링하여 대규모 이미지 기반 국소화를 위한 분별성 있는 이미지 표현 학습을 향상시키기.
• 기존 방법이 삼중체 순서 매기기나 대비 손실에 의존하지만 체계적인 확률적 공식화가 없는 한계를 해결하기.
• 아키텍처 변경 없이도 CNN 기반 특징 임bedding을 향상시킬 수 있는 미분 가능하고 즉시 통합 가능한 손실 함수 개발하기.
• Google Landmark Retrieval Challenge와 같은 광범위한 벤치마크와 실제 도전 과제를 통해 SARE의 우수성을 검증하기.
• 피팅 조정 없이도 표준 이미지 검색 데이터셋에서 SARE로 훈련된 모델의 일반화 성능을 입증하기.

제안 방법

• 이 방법은 이미지 유사성을 이진 분류 문제로 모델링한다: 내부 장소 쌍(유인)에 대해 1, 외부 장소 쌍(반발력)에 대해 0.
• 질의-양성 및 질의-음성 이미지 쌍의 특징 임베딩 간 L2 거리에 대한 확률 분포를 정의한다.
• SARE 손실은 예측된 확률 분포와 진정된 매칭 가능성 분포 간의 Kullback-Leibler (KL) 발산으로 정의된다.
• 이 손실 함수는 어떤 CNN 아키텍처와도 호환되며 기존 IBL 파이프라인에 쉽게 통합될 수 있다.
• 각 질의에 대해 여러 음성 샘플을 지원하여 여러 다른 장소 간의 경쟁을 가능하게 한다.
• 이 방법은 VGG16에 NetVLAD 풀링과 L2 정규화된 특징을 사용하며, 이어서 L2 거리 계산과 확률적 매칭을 수행한다.

실험 결과

연구 질문

• RQ1 기존 메트릭 학습 손실 함수를 초월하여 대규모 이미지 국소화를 위한 이미지 임베딩의 분별성을 어떻게 향상시킬 수 있는가?
• RQ2 내부 장소 유인과 외부 장소 반발력을 확률적 공식화하면 기존의 대비나 삼중체 손실보다 더 나은 국소화 성능을 낼 수 있는가?
• RQ3 SARE 손실은 피팅 조정 없이도 표준 이미지 검색 벤치마크에 잘 일반화되는가?
• RQ4 SARE는 대비 및 삼중체 손실과 같은 기존 메트릭 학습 목표 함수에 비해 이론적으로 어떤 우위를 점하는가?
• RQ5 SARE는 실제 도전 과제인 구글 랜드마크 검색 챌린지에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SARE는 2018년 구글 랜드마크 검색 챌린지에서 209개 팀 중 3위를 기록하여 뛰어난 실세계 성능을 입증하였다.
• Sf-0 벤치마크에서 SARE는 전체 이미지 기준 mAP 80.71%와 자르기 전 이미지 기준 mAP 81.07%를 기록하여 NetVLAD와 CRN를 모두 능가하였다.
• 옥스포드5k와 파리6k 데이터셋에서 SARE는 각각 mAP 71.66%와 82.03%를 기록하여 NetVLAD 및 CRN와 같은 기준 방법을 뛰어넘었다.
• 모든 세 가지 벤치마크에서 SARE는 오프더쇼프 NetVLAD 및 CRN보다 항상 높은 mAP를 기록하며 이미지 검색 작업에서 뛰어난 일반화 성능을 보였다.
• 정성적 분석을 통해 SARE는 이미지의 특징적인 건축적 요소에 집중하는 반면, NetVLAD는 국소적 특징에 더 주목하는 것으로 확인되었다.
• 이론적 분석을 통해 SARE의 기울기 동역학이 대비 및 삼중체 손실보다 더 유리함을 입증하였으며, 이는 그 경험적 우수성의 이유를 설명한다.