[논문 리뷰] Learning Super-Features for Image Retrieval

Philippe Weinzaepfel, Thomas G. Lucas외 2명|arXiv (Cornell University)|2022. 01. 31.

Advanced Image and Video Retrieval Techniques인용 수 13

한 줄 요약

이 논문은 반복적인 트랜스포머 모듈(LIT)을 통해 학습된 중위 수준의 주목사용 기반 이미지 표현인 슈퍼피처(Super-features)를 제안한다. 이는 순서가 지정된, 복제가 없는 판별 능력이 뛰어난 특징들을 생성한다. 이미지 수준의 레이블만을 사용하여 슈퍼피처에 직접 대비 손실을 적용함으로써, 이전의 국소 특징 기반 접근 방식에 비해 메모리 사용을 크게 줄이고도 랜드마크 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Methods that combine local and global features have recently shown excellent performance on multiple challenging deep image retrieval benchmarks, but their use of local features raises at least two issues. First, these local features simply boil down to the localized map activations of a neural network, and hence can be extremely redundant. Second, they are typically trained with a global loss that only acts on top of an aggregation of local features; by contrast, testing is based on local feature matching, which creates a discrepancy between training and testing. In this paper, we propose a novel architecture for deep image retrieval, based solely on mid-level features that we call Super-features. These Super-features are constructed by an iterative attention module and constitute an ordered set in which each element focuses on a localized and discriminant image pattern. For training, they require only image labels. A contrastive loss operates directly at the level of Super-features and focuses on those that match across images. A second complementary loss encourages diversity. Experiments on common landmark retrieval benchmarks validate that Super-features substantially outperform state-of-the-art methods when using the same number of features, and only require a significantly smaller memory footprint to match their performance. Code and models are available at: https://github.com/naver/FIRe.

연구 동기 및 목표

• 국소 특징 기반 이미지 검색에서 학습(전체 손실)과 추론(국소 매칭) 간의 괴리 문제를 해결한다.
• 기본 국소 CNN 특징에서의 복제성과 낮은 판별 능력 문제를 해결하기 위해 중위 수준의 구조적 표현을 학습한다.
• 이미지 수준의 레이블만을 사용하여 순서가 지정된 판별 능력 있는 특징의 집합을 학습하고, 전체 프레임워크를 엔드 투 엔드로 학습할 수 있는 훈련 가능한 프레임워크를 개발한다.
• 국소 특징을 사용하는 최신 기술 수준의 방법들과 비교해 메모리 사용량을 줄이면서도 검색 정확도를 유지하거나 향상시킨다.
• 의미 있는 이미지 패턴에 집중하는 의미적으로 순서가 지정된 특징 집합을 학습함으로써 효과적인 특징 매칭을 가능하게 한다.

제안 방법

• 학습된 템플릿과 잔차 연결을 사용하여 CNN 특징 맵에서 N개의 슈퍼피처로 이루어진 순서가 지정된 집합을 생성하는 반복적 국소 특징 통합 트랜스포머(LIT) 모듈을 제안한다.
• 동일한 이미지 쌍 내에서 매칭되는 슈퍼피처를 쌍으로 묶는 대비 손실을 사용하여, 슈퍼피처 수준에서의 이미지 간 대응 관계를 직접 최적화한다.
• 한 번의 이미지 내에서 N개의 슈퍼피처의 주목 맵 간 상관관계를 줄이기 위해 분리 손실을 도입한다.
• 이미지 수준의 레이블만을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련함으로써, 개체 수준 또는 픽셀 수준의 애너테이션 필요성을 피한다.
• 테스트 시기에는 표준 검색 프로토콜에 따라 슈퍼피처를 매칭하고 집계하기 위해 ASMK(집적 SIFT 매칭 커널)를 사용한다.
• 슈퍼피처의 순서가 지정된 성질을 활용하여, 기존의 국소 특징에 비해 매칭 신뢰도를 높이고 복제를 줄인다.

실험 결과

연구 질문

• RQ1 국소 특징 매칭이나 개체 수준의 감독 없이도 중위 수준의 주목사용 기반 특징을 효과적으로 학습하고 이미지 검색에 활용할 수 있는가?
• RQ2 대비 손실과 분리 손실을 통해 슈퍼피처를 직접 감독하면, 국소 특징의 전체 손실 감독 방식보다 검색 정확도가 향상되는가?
• RQ3 반복 주목사용 메커니즘이 기존의 객체 중심 주목사용 모듈보다 더 큰, 더 다양한, 더 뛰어난 판별 능력을 가진 특징 집합을 생성할 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 국소 특징 기반 방법들보다 성능이 뛰어나면서도 더 적은 메모리 사용량을 요구하는가?
• RQ5 수백만 개의 간섭 이미지가 존재하는 대규모 환경에서 모델의 일반화 능력은 어떻게 되는가?

주요 결과

• 제안된 FIRe 방법은 R-Oxford 및 R-Paris 벤치마크에서 최신 기술 수준의 성능을 달성하여, 동일한 수의 특징을 사용한 이전 방법들을 능가한다.
• R-Oxford에서 FIRe는 mAP 85.3%를 기록했으며(R50 백본 기준), 이는 이전 최신 기술 수준 방법(HOW)에 비해 9.9% 포인트 높은 성능이다. 이는 ASMK를 사용한 경우이다.
• R-Paris에서 FIRe는 70.0% mAP를 달성했으며, 기준 방법(HOW)에 비해 12.2% 포인트 향상되어 강력한 일반화 능력을 입증한다.
• 최신 기술 수준의 국소 특징 기반 방법들에 비해 메모리 사용량을 최대 50%까지 줄였지만, 성능은 유지하거나 초월한다.
• 100만 개의 간섭 이미지 실험을 통해 성능 향상이 대규모에서 유의미하게 유지됨을 확인하였으며, 강력한 일반화 능력과 강인성을 보여준다.
• 제거 실험 결과, 슈퍼피처는 표준 국소 특징에 비해 훨씬 더 낮은 복제성과 더 높은 판별 능력을 지닌 것으로 나타났으며, 이는 낮은 특징 상관관계와 높은 매칭 정확도로 뒷받침된다.