[논문 리뷰] Self-supervising Fine-grained Region Similarities for Large-scale Image Localization

Yixiao Ge, Haibo Wang외 3명|arXiv (Cornell University)|2020. 06. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 60인용 수 13

한 줄 요약

이 논문은 노이즈가 있는 GPS 감독 하에서 대규모 이미지 정렬을 향상시키기 위해 미세한 영역 간 유사도를 강화하는 자기지도 학습 프레임워크를 제안한다. 상위-k 근접 이웃으로부터 반복적으로 소프트 감독을 개선하고, 온도가 점차 낮아지는 대비 학습을 적용함으로써, 추가 파rameter나 애너테이션 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The task of large-scale retrieval-based image localization is to estimate the geographical location of a query image by recognizing its nearest reference images from a city-scale dataset. However, the general public benchmarks only provide noisy GPS labels associated with the training images, which act as weak supervisions for learning image-to-image similarities. Such label noise prevents deep neural networks from learning discriminative features for accurate localization. To tackle this challenge, we propose to self-supervise image-to-region similarities in order to fully explore the potential of difficult positive images alongside their sub-regions. The estimated image-to-region similarities can serve as extra training supervision for improving the network in generations, which could in turn gradually refine the fine-grained similarities to achieve optimal performance. Our proposed self-enhanced image-to-region similarity labels effectively deal with the training bottleneck in the state-of-the-art pipelines without any additional parameters or manual annotations in both training and inference. Our method outperforms state-of-the-arts on the standard localization benchmarks by noticeable margins and shows excellent generalization capability on multiple image retrieval datasets.

연구 동기 및 목표

• 깊은 신경망이 분류 가능한 특징을 학습하는 것을 방해하는 대규모 이미지 정렬에서 노이즈가 많고 약한 GPS 레이블의 문제를 해결한다.
• 기존 방법이 학습에 가장 쉬운(상위-1) 양성 이미지에만 의존함으로써 다양한 조건에서 낮은 내성적 안정성을 보이는 한계를 극복한다.
• 반복적인 네트워크 생성 과정을 통해 어려운 양성 이미지를 활용하고, 자기지도 기반의 영역 수준의 감독을 통해 이미지-영역 간 유사도를 개선함으로써 특징 학습을 향상시킨다.
• 이전 네트워크 생성 과정에서 유도된 소프트 신뢰도 점수를 활용하여 노이즈가 있는 데이터에서 효과적인 학습을 가능하게 한다.
• 피팅 조정 없이도 표준 이미지 검색 벤치마크에서 일반화 능력을 입증한다.

제안 방법

• 이전 생성 과정의 특징 기반 유사도를 소프트 감독으로 사용하여 반복적인 생성 과정에서 네트워크를 훈련시킨다.
• 각 쿼리에 대해 갤러리 세트에서 k-상호 근접 이웃을 식별하여 더 정확한 어려운 양성 샘플을 복구하고, 잘못된 양성 샘플을 줄인다.
• 갤러리 이미지를 다양한 크기의 다수의 하위 영역으로 분할하여 정교한 영역 수준의 매칭과 감독을 가능하게 한다.
• 특징 맵을 사용하여 쿼리-영역 유사도를 추정하고, 온도를 점차 낮추는 전략을 적용한 대비 학습을 통해 세대 간에 소프트 레이블을 정교화한다.
• 자기 향상된 유사도 헤드를 사용하여 개선된 소프트 감독 신호를 생성하고, 네트워크가 더 분류 가능한 국소적 특징을 학습하도록 이끈다.
• 대비 손실에 대해 온도를 점진적으로 낮추는 스케줄링 전략을 적용하여 특징의 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 GPS 레이블만 존재할 때, 자기지도 기반의 미세한 영역 수준의 유사도가 이미지 정렬 성능을 향상시킬 수 있는가?
• RQ2 거짓 양성 샘플이나 네트워크 붕괴를 유발하지 않으면서도 어려운 양성 샘플을 효과적으로 활용할 수 있는가?
• RQ3 네트워크 생성 과정을 거쳐 이미지-영역 간 유사도를 개선하는 것이 표준 이미지 수준의 감독보다 더 나은 특징 표현을 이끌어낼 수 있는가?
• RQ4 이전 생성 과정에서 유도된 소프트 감독이 후속 이미지 검색 작업에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 추가 파rameter나 수동 애너테이션 없이도 제안된 방법이 최신 기술 수준의 베이스라인을 초월할 수 있는가?

주요 결과

• 제안된 방법은 Tokyo 24/7 및 Oxford5k 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Tokyo 24/7에서 순위-1 재현율이 93.4%로 기준 모델을 크게 능가했다.
• Pitts250k-test 세트에서 순위-1 재현율이 85.7%를 기록하여 최신 기술 수준의 SARE 방법을 2.1%p 뛰어넘었다.
• 제거 실험 결과, k-상호 근접 이웃 개선 기법을 제거할 경우 Tokyo 24/7에서 성능이 1.6% 감소하여 진정한 양성 샘플을 식별하는 데의 중요성을 확인했다.
• 소프트맥스 온도 점진 낮추기 전략은 더 나은 특징 분류 능력을 가능하게 하여, Oxford5k에서 mAP가 1.2% 향상됨을 입증했다.
• 모델은 표준 이미지 검색 데이터셋으로 일반화 능력이 뛰어나며, Oxford5k(전체 이미지)에서 73.9% mAP, Paris6k(전체 이미지)에서 76.7% mAP를 기록하여 SARE 및 NetVLAD를 능가했다.
• 정성 분석 결과, 모델은 나무와 같은 혼란스러운 특징을 무시하고 상점 간판과 같은 분류 가능한 국소적 영역에 집중하는 것으로 확인되었으며, SARE와는 대조적으로 그러한 특징을 효과적으로 식별했다.