[논문 리뷰] Multiple Measurements and Joint Dimensionality Reduction for Large Scale Image Search with Short Vectors - Extended Version

Filip Radenović, Hervé Jeǵou외 1명|arXiv (Cornell University)|2015. 04. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 128D 이미지 벡터를 사용하여 대규모 이미지 검색 성능을 향상시키기 위한 방법을 제안한다. 서로 보완적인 어휘들에 걸쳐 동시 차원 감소를 적용함으로써, 지역 기반 기술자 추출 방식(영역 크기, 거듭제곱 법칙 정규화, PCA 투영)을 다양하게 조정하여 서로 겹치지 않는 다양한 어휘를 생성한다. 이 어휘들을 연결하고 함께 압축함으로써, Oxford5k, Oxford105k, Holidays 기준으로 이전 최고 성능 기법들을 뛰어넘는 성능을 달성한다.

ABSTRACT

This paper addresses the construction of a short-vector (128D) image representation for large-scale image and particular object retrieval. In particular, the method of joint dimensionality reduction of multiple vocabularies is considered. We study a variety of vocabulary generation techniques: different k-means initializations, different descriptor transformations, different measurement regions for descriptor extraction. Our extensive evaluation shows that different combinations of vocabularies, each partitioning the descriptor space in a different yet complementary manner, results in a significant performance improvement, which exceeds the state-of-the-art.

연구 동기 및 목표

• 단순한 128D 이미지 표현을 통해 대규모 이미지 검색 성능을 향상시키는 것.
• 백오프-오브-워즈 및 VLAD 기반 검색에서 단일 어휘나 중복적인 다중 어휘 접근 방식의 한계를 해결하는 것.
• 다양한 기술자 변환 및 측정 설정이 어떻게 보완적인 어휘를 생성하여 통합 표현 성능을 향상시킬 수 있는지 탐구하는 것.
• 다양한 어휘들을 동시에 차원 감소시킴으로써 쿼리 시간에 계산 오버헤드 없이도 우수한 검색 정확도를 달성할 수 있음을 입증하는 것.
• 기본적인 기술자 및 어휘 구성 방식에 대한 단순하고 효율적인 수정을 통해 기존 최고 성능 기법을 뛰어넘는 짧은 벡터 기반 이미지 검색 성능을 확보하는 것.

제안 방법

• 지역 기술자 추출에 사용되는 측정 영역의 크기를 변화시켜 다수의 시각 어휘를 구축한다.
• k-means 클러스터링 이전에 지역 기술자에 다양한 거듭제곱 법칙 정규화(예: SIFT^0.4, SIFT^0.5, SIFT^0.6)를 적용한다.
• k-means 클러스터링 이전에 지역 기술자에 별개의 선형 투영(PCA)을 적용하여 중복을 줄이고 다양성을 증가시킨다.
• 다양한 어휘에서 유도된 BOW 벡터들을 이미지당 하나의 고차원 벡터로 연결한다.
• 연결된 벡터들에 대해 동시 차원 감소(PCA 등)를 수행하여 128D의 압축된 기술자 표현을 생성한다.
• 평가를 위해 L2 정규화와 표준 검색 프로토콜(mAP)을 사용하여 여러 벤치마크에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 측정 영역 크기, 정규화, 투영 방식 등 기술자 추출 파라미터를 다양하게 조절할 경우, 시각 어휘의 다양성과 보완성에 어떤 영향을 미치는가?
• RQ2 다양한 어휘들을 동시에 차원 감소시킬 경우, 단일 어휘나 단순히 초기화된 다중 어휘 접근 방식을 뛰어넘어 검색 성능 향상을 이룰 수 있는가?
• RQ3 제안된 방법이 표준 벤치마크에서 짧은 벡터 기반 이미지 검색에서 기존 최고 성능 기법을 얼마나 뛰어넘는가?
• RQ4 다른 기술자 변환 방식을 사용해 구성한 다중 어휘의 조합이 양자화 오류를 줄이고 일반화 성능을 향상시키는가?
• RQ5 쿼리 시간에 계산 비용을 증가시키지 않으면서도 검색 정확도를 최대화하는 데 최적의 다중 어휘 구성은 무엇인가?

주요 결과

• 제안된 방법은 Oxford105k에서 48.8% mAP를 달성하여 기준 베이스라인 mVocab 방법 대비 17.9% 상대적 향상, VLAD 기반 최고 성능 기법 대비 10.7% 향상되었다.
• Oxford5k에서 최고 성능 방법은 48.8% mAP를 기록하여 기준 베이스라인 대비 13.8% 상대적 향상, T-embedding 최고 성능 기법 대비 12.7% 향상되었다.
• Holidays 데이터셋에서는 67.3% mAP를 달성하여 기준 베이스라인 대비 4.3% 상대적 향상, T-embedding 최고 성능 기법 대비 9.1% 향상되었다.
• 다양한 측정 영역과 거듭제곱 법칙 정규화를 사용함으로써 고유한 어휘 할당 수가 증가하여 중복성이 감소하고 커버리지가 향상되었다.
• 동일한 학습 데이터(Paris6k)를 사용한 공정한 비교에서도 제안된 기술자 변형 방식의 효과가 입증되어, 기존 최고 성능 기법을 뛰어넘는 것으로 확인되었다.
• 5×2k 어휘나 4×(4k+…+128) 구성과 같은 모든 제안된 방법들이 모든 데이터셋에서 기준 및 최고 성능 기법을 일관되게 뛰어넘었다.