[논문 리뷰] Local Features and Visual Words Emerge in Activations

Oriane Siméoni, Yannis Avrithis외 1명|arXiv (Cornell University)|2019. 05. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 47인용 수 72

한 줄 요약

이 논문은 재학습이나 추가 레이어 없이도 CNN 활성화 텐서에서 기하학적으로 의미 있는 국소적 특징을 직접 추출하는 Deep Spatial Matching (DSM)을 제안한다. 특징 맵에서 국소 최댓값을 탐지하고 이를 공간 검증에 사용함으로써, 확산 기반 재정렬과 결합할 경우 이미지 검색 벤치마크에서 최신 기술 수준의 성능을 달성하며, mAP와 mP@10에서 뚜렷한 향상을 이룬다.

ABSTRACT

We propose a novel method of deep spatial matching (DSM) for image retrieval. Initial ranking is based on image descriptors extracted from convolutional neural network activations by global pooling, as in recent state-of-the-art work. However, the same sparse 3D activation tensor is also approximated by a collection of local features. These local features are then robustly matched to approximate the optimal alignment of the tensors. This happens without any network modification, additional layers or training. No local feature detection happens on the original image. No local feature descriptors and no visual vocabulary are needed throughout the whole process. We experimentally show that the proposed method achieves the state-of-the-art performance on standard benchmarks across different network architectures and different global pooling methods. The highest gain in performance is achieved when diffusion on the nearest-neighbor graph of global descriptors is initiated from spatially verified images.

연구 동기 및 목표

• 전역 CNN 기술자(검색에 효율적임)와 국소 표현(공간 검증과 호환됨) 사이의 격차를 메우기 위해.
• 기존의 국소 특징 검출기나 시각 어휘에 의존하지 않고 대규모 이미지 검색에서 고정확도 재정렬을 가능하게 하기 위해.
• CNN 활성화 맵의 내재된 희박성과 공간적 구조를 활용하여 일관된 기하학적 특징을 추출하기 위해.
• 네트워크를 수정하거나 미세조정하지 않고도 사전 훈련된 네트워크의 활성화 텐서만을 사용하여 검색 성능을 향상시키기 위해.
• 국소 특징이 CNN 활성화에서 자연스럽게 발생하며, 이를 공간 검증 및 확산 기반 재정렬에 활용할 수 있음을 보여주기 위해.

제안 방법

• 이미지 수준의 검출이나 패치 추출 없이도 최종 합성곱 특징 맵의 각 채널에서 국소 최댓값을 국소적 특징으로 탐지한다.
• 이러한 국소 최댓값을 희소 공간 키포인트로 사용하여 두 이미지의 활성화 텐서 간의 기하학적 매칭을 수행한다.
• 검출된 국소 특징을 바탕으로 빠른 공간 매칭(예: RANSAC 기반 정렬)을 적용하여 기하학적 변환을 추정한다.
• 공간적으로 검증된 매칭 결과를 바탕으로 전역 기술자의 최근접 이웃 그래프에서 확산을 수행하여 초기 검색 결과를 재정렬한다.
• DSM를 기존의 전역 풀링 방법(예: MAC, GeM) 및 재정렬 전략과 통합하며, 네트워크 수정이나 추가 훈련이 필요로 하지 않는다.
• 높은 활성화 값이 희박하고 공간적으로 국소화되어 있음을 활용하여 특징 맵에서 직접 효율적이고 강력한 특징 추출이 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN 활성화 텐서에서 명시적 검출이나 훈련 없이 국소 특징이 자연스럽게 발생할 수 있는가?
• RQ2 이러한 발생한 국소 특징은 시각 어휘 없이도 이미지 검색의 공간 검증에 효과적으로 사용될 수 있는가?
• RQ3 기반 활성화 특징에 기반한 공간 매칭을 도입함으로써 확산 기반 재정렬과 결합했을 때 검색 정확도가 향상되는가?
• RQ4 이 방법은 다양한 네트워크 아키텍처와 전역 풀링 전략에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 DSM의 성능 향상은 국소 특징 자체 때문이 아니라, 확산에 사용되는 상위 순위 이미지 선택의 개선 때문인가?

주요 결과

• DSM는 다양한 네트워크와 풀링 방법을 사용할 때 ROxf, ROxf+R1M, RPar, RPar+R1M 벤치마크에서 최신 기술 수준의 mAP와 mP@10 성능을 달성한다.
• 확산이 상위 순위 이미지에서 시작되며, 이 이미지들이 DSM를 통해 공간적으로 검증된 경우 성능 향상이 가장 크며, 최대 mAP 5점, mP@10 6점 향상된다.
• 시각 어휘나 국소 기술자를 사용하지 않음에도 불구하고, 몇몇 벤치마크에서 최고 성능을 기록한 DELF 기반 방법 [27]을 초월한다.
• 모든 베이스라인 방법에 대해 재정렬을 적용했을 때 성능 향상이 발생하며, 특히 ROxf 및 RPar 데이터셋에서 가장 큰 향상이 관찰된다.
• 희소한 특징 다양성과 활성화 맵 간의 높은 상관관계로 인해 일부 경우 성능 저하(최대 mAP 1점 감소)가 발생한다.
• 제안된 방법은 전역 기술자의 효율성과 국소 매칭의 기하학적 정확도를 성공적으로 조합하여, 네트워크 수정이나 추가 훈련 없이도 높은 성능을 달성한다.