[논문 리뷰] Deep Stochastic Attraction and Repulsion Embedding for Image Based Localization.

Liu Liu, Hongdong Li외 1명|arXiv (Cornell University)|2018. 08. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 이미지 기반 국소화 성능을 햖을 수 있도록 경쟁적 학습을 통해 구분 가능한 특징을 학습하는 데 중점을 두는 새로운 손실 함수인 Stochastic Attraction and Repulsion Embedding (SARE)을 제안한다: 같은 장소의 이미지들 사이의 유사도를 극대화하고(유인), 다른 장소의 이미지들 사이의 유사도를 최소화한다(역상). SARE는 표준 벤치마크에서 트리플릿 랭킹 손실을 사용하는 최신 기법들을 능가하는 큰 폭의 국소화 정확도 향상을 이룬다.

ABSTRACT

This paper tackles the problem of large-scale image-based localization where the geographical location at which a query image was taken is estimated by retrieving geo-tagged reference images depicting the same place from a large database. For this problem, an important and yet under-researched issue is how to learn discriminative image representations that are best tailored to the task of geo-localization. Aiming to find a novel image representation having higher location-discriminating power, this paper presents the following contributions: 1) we represent a place (location) as a set of exemplar images depicting the same landmarks, instead of some pre-defined geographic locations by partitioning the world; 2) we advocate the use of competitive learning among places, directly via feature embeddings, aiming to maximize similarities among intra-class images while minimizing similarities among inter-class images. This represents a significant departure from the state-of-the-art IBL methods using triplet ranking loss, which only enforces intra-place visual similarities are bigger than inter-place ones; 3) we propose a new Stochastic Attraction and Repulsion Embedding (SARE) loss function to facilitate the competitive learning. Our SARE loss is easy to implement and pluggable to any Convolutional Neural Network. Experiments show that the method improves localization performance on standard benchmarks by a large margin.

연구 동기 및 목표

• 대규모 이미지 기반 국소화에 특화된 구분 가능한 이미지 표현의 부족을 해결하기 위해.
• 지정된 지리적 영역가 아니라 예시 이미지 집합으로 장소를 모델링하여 국소화 성능을 향상시키기 위해.
• 특징 임베딩을 직접적으로, 종단 간 최적화할 수 있도록 경쟁적 학습을 통해 내부 클래스 유사도를 증가시키고, 외부 클래스 유사도를 감소시키기 위해.
• 어떤 CNN 아키텍처와도 호환되며 구현이 쉬운 플러그 앤 플레이 손실 함수를 개발하기 위해.

제안 방법

• 세계를 고정된 지리적 밴으로 나누는 대신, 같은 랜드마크를 보여주는 지리 태그가 부여된 이미지 집합으로 각 장소를 표현한다.
• 동일한 장소 내에서의 유사도를 증가시키고(내부 클래스), 다른 장소 간의 유사도를 감소시키는 경쟁적 학습 메커니즘을 도입한다(외부 클래스).
• 임베딩 공간에서 유인과 역상을 강제하기 위해 임의로 앵커, 양성, 음성 이미지 트리플릿을 샘플링하는 SARE 손실 함수를 제안한다.
• 모든 CNN 백본과 호환되며, 미분 가능하도록 설계하여 기존 딥 러닝 파이프라인에 원활하게 통합할 수 있도록 한다.
• 특징 임베딩이 지오-국소화 작업에 매우 구분 가능한 특징을 학습하도록 SARE 손실을 사용해 모델을 훈련시킨다.
• 이미지의 외관과 시점 변화에 대한 일반화 및 강건성을 향상시키기 위해 훈련 중에 확률적 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 고정된 지리적 영역가 아니라 예시 이미지 집합으로 장소를 모델링하면 국소화 성능 향상에 기여하는가?
• RQ2 특징 공간에서 내부 클래스 및 외부 클래스 유사도를 직접 최적화하는 경쟁적 학습이 트리플릿 랭킹 손실보다 이미지 기반 국소화에서 더 우수한 성능을 내는가?
• RQ3 SARE와 같은 단순하고 플러그 앤 플레이식 손실 함수가 아키텍처 변경 없이 국소화 정확도를 크게 향상시킬 수 있는가?
• RQ4 고도로 시각적 다양성이 있는 대규모 실세계 이미지 데이터베이스에서 SARE는 얼마나 효과적인가?

주요 결과

• SARE 손실은 트리플릿 랭킹 손실을 사용하는 최신 기법들보다 표준 벤치마크에서 국소화 성능을 크게 향상시킨다.
• 이 방법은 동일한 장소의 이미지들 간의 유인과 다른 장소의 이미지들 간의 역상을 명시적으로 모델링함으로써 더 높은 정확도를 달성한다.
• SARE는 다양한 실세계 데이터셋에서 효과적이며, 시각적 변형과 대규모 데이터에 대한 강건성을 보여준다.
• 제안된 방법은 어떤 CNN 기반 모델에도 쉽게 통합될 수 있어, 이미지 기반 국소화에 실용적이고 강력한 도구가 된다.
• 실험 결과 SARE를 통한 경쟁적 학습이 기존의 랭킹 기반 접근 방식보다 더 구분 가능한 특징 임베딩을 생성함을 확인했다.
• 이 방법은 표준 이미지 기반 국소화 벤치마크에서 기존 방법들에 비해 큰 폭의 성능 향상을 기록하며 최신 기술 수준에 도달했다.