[논문 리뷰] Embedding based on function approximation for large scale image search

Thanh-Toan Do, Ngai‐Man Cheung|arXiv (Cornell University)|2016. 05. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 함수 근사 기반 고차원 공간에서 비선형 함수를 근사함으로써 VLAD와 TLCC를 일반화하는 새로운 임bedding 방법 FAemb를 제안한다. 이미지 검색 벤치마크에서 최신 기술 수준을 넘어선 성능을 달성하며, SIFT 특징을 사용할 경우 Holidays에서 mAP 86.8, Oxford5k에서 70.3을 기록한다. 또한 대규모 응용을 위한 빠른 폐쇄형 버전을 도입한다.

ABSTRACT

The objective of this paper is to design an embedding method that maps local features describing an image (e.g. SIFT) to a higher dimensional representation useful for the image retrieval problem. First, motivated by the relationship between the linear approximation of a nonlinear function in high dimensional space and the stateof-the-art feature representation used in image retrieval, i.e., VLAD, we propose a new approach for the approximation. The embedded vectors resulted by the function approximation process are then aggregated to form a single representation for image retrieval. Second, in order to make the proposed embedding method applicable to large scale problem, we further derive its fast version in which the embedded vectors can be efficiently computed, i.e., in the closed-form. We compare the proposed embedding methods with the state of the art in the context of image search under various settings: when the images are represented by medium length vectors, short vectors, or binary vectors. The experimental results show that the proposed embedding methods outperform existing the state of the art on the standard public image retrieval benchmarks.

연구 동기 및 목표

• 고차원 공간에서의 함수 근사를 활용하여 기존 방법들인 VLAD와 TLCC를 일반화하는 통합된 임베딩 프레임워크를 개발하는 것.
• 대규모 이미지 검색에서의 계산 병목 현상을 해결하기 위해 임베딩 방법의 폐쇄형 빠른 버전을 유도하는 것.
• SIFT 및 CNN과 같은 局부 특징을 사용하여 더 강력하고 구분력 있는 표현을 학습함으로써 이미지 검색 성능을 향상시키는 것.
• 함수 근사를 통해 VLAD와 TLCC 간의 이론적 연결 고리를 확립하고, VLAD가 TLCC의 단순화된 변종임을 보여주는 것.
• 단일 벡터 표현을 통해 저장소 및 거리 계산 오버헤드를 최소화하여 효율적인 대규모 검색을 가능하게 하는 것.

제안 방법

• 고차원 공간에서 기저 함수의 선형 조합을 사용하여 비선형 함수 $ f({\mathbf{x}}) $ 를 근사함으로써 VLAD와 TLCC의 일반화로 FAemb를 제안한다.
• 기저점 $ {\mathbf{v}}_j $ 를 사용한 좌표 인코딩 $ \gamma({\mathbf{x}}) $ 를 활용하여 局부 기저를 고차원 벡터로 매핑하며, $ \sum_j \gamma_{{\mathbf{v}}_j}({\mathbf{x}}) = 1 $ 를 보장한다.
• 테일러 전개 기반 근사: $ f({\mathbf{x}}) \approx \sum_{j} \gamma_{{\mathbf{v}}_j}({\mathbf{x}}) \sum_{|\alpha| \leq k} \frac{\partial^\alpha f({\mathbf{v}}_j)}{\alpha!} ({\mathbf{x}} - {\mathbf{v}}_j)^\alpha $, 오차는 $ \frac{M}{(k+1)!} \sum_j |\gamma_{{\mathbf{v}}_j}({\mathbf{x}})| \|{\mathbf{x}} - {\mathbf{v}}_j\|_1^{k+1} $ 로 유계된다.
• 기저 함수와 가중치를 사전에 계산하여 폐쇄형으로 임베딩를 계산할 수 있는 빠른 버전인 F-FAemb를 유도함으로써 대규모 배포에 효율성을 제공한다.
• 표준 풀링 또는 평균을 사용하여 SIFT, CNN과 같은 로컬 특징을 하나의 벡터로 통합한다.
• 표준 이미지 검색 벤치마크(Holidays, Oxford5k)를 사용하여 전체 및 자르기 전용 쿼리로 성능을 평가하며, 다양한 벡터 길이에서의 성능 분석을 수행한다.

실험 결과

연구 질문

• RQ1 고차원 공간에서의 함수 근사를 통해 VLAD와 TLCC를 일반화하는 통합 프레임워크를 개발할 수 있는가?
• RQ2 다양한 벡터 길이에서 제안된 FAemb 방법이 최신 기술 수준의 임베딩 방법과 비교해 검색 정확도에서 어떻게 성능을 내는가?
• RQ3 대규모 이미지 검색을 위한 효율적인 구현을 가능하게 하기 위해 임베딩의 폐쇄형 빠른 버전을 도출할 수 있는가?
• RQ4 표준 벤치마크에서 SIFT 및 CNN 특징을 사용할 때 제안된 방법이 기존 방법을 초월하는가?
• RQ5 대상 표현 길이(예: 256, 1024, 7245 차원)가 제안된 방법의 검색 성능에 미치는 영향은 무엇인가?

주요 결과

• SIFT 특징을 사용할 경우 FAemb는 Holidays 데이터셋에서 mAP 86.8, Oxford5k(자르기 전용 쿼리)에서 70.3을 기록하여 최신 기술 수준을 초월한다.
• Oxford5k 데이터셋에서 F-FAemb는 D=7,245일 때 mAP 66.1을 달성하여 CKN을 능가하고, 단일 이미지 표현을 사용함에도 불구하고 CNN 기반 방법에 가까운 성능을 보였다.
• 빠른 버전인 F-FAemb는 임베딩의 폐쇄형 계산을 가능하게 하여 R-MAC과 같은 패치 기반 방법 대비 저장소 및 거리 계산 비용을 감소시켰다.
• 짧은 표현 길이(예: D=256)에서도 F-FAemb는 Holidays에서 mAP 74.0, Oxford5k에서 45.6을 기록하여 차원 축소에 대한 강건성을 입증했다.
• Holidays 데이터셋의 일반적인 이미지에 대해 F-FAemb와 함께 CNN 특징이 SIFT보다 더 좋은 성능을 보였고, 특정 객체(예: 건물)가 포함된 Oxford5k에서는 SIFT가 더 우수한 성능을 보였다.
• 이론적 분석을 통해 VLAD가 TLCC의 단순화된 형태임을 확인하였으며, FAemb는 함수 근사를 통해 이 둘의 핵심 원리를 통합함으로써 둘을 일반화함을 입증했다.