[논문 리뷰] Indexing of CNN Features for Large Scale Image Search

Ruoyu Liu, Yao Zhao외 2명|arXiv (Cornell University)|2015. 08. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 77인용 수 13

한 줄 요약

이 논문은 CNN 특징을 사용하여 대규모 이미지 검색을 가속화하기 위한 인verted 테이블 기반 인덱싱 프레임워크 IFC를 제안한다. 다중 코드워드 할당과 해싱을 통한 임bedding 코드 활용을 통해 IFC는 정밀도 손실을 최소화하면서 검색 시간을 최대 17배 빠르게 한다. 여러 벤치마크에서 브루트포스 및 기존 해싱 방법보다 뛰어난 성능을 보였다.

ABSTRACT

The convolutional neural network (CNN) features can give a good description of image content, which usually represent images with unique global vectors. Although they are compact compared to local descriptors, they still cannot efficiently deal with large-scale image retrieval due to the cost of the linear incremental computation and storage. To address this issue, we build a simple but effective indexing framework based on inverted table, which significantly decreases both the search time and memory usage. In addition, several strategies are fully investigated under an indexing framework to adapt it to CNN features and compensate for quantization errors. First, we use multiple assignment for the query and database images to increase the probability of relevant images' co-existing in the same Voronoi cells obtained via the clustering algorithm. Then, we introduce embedding codes to further improve precision by removing false matches during a search. We demonstrate that by using hashing schemes to calculate the embedding codes and by changing the ranking rule, indexing framework speeds can be greatly improved. Extensive experiments conducted on several unsupervised and supervised benchmarks support these results and the superiority of the proposed indexing framework. We also provide a fair comparison between the popular CNN features.

연구 동기 및 목표

• 대규모 이미지 검색에서 글로벌 CNN 특징를 인덱싱하는 데 발생하는 높은 계산 및 저장 비용을 해결하기 위해.
• 원래 국소 특징(예: SIFT)을 위해 설계된 인verted 테이블 구조를 효율적으로 활용하여 압축된 글로벌 CNN 특징 벡터를 인덱싱하기 위해.
• 다중 할당과 임베딩 코드를 통해 CNN 기반 검색에서의 양자화 오차와 오진 매칭을 줄이기 위해.
• 인덱싱 프레임워크에 해싱 기반 기법을 통합하여 검색 속도를 높이면서도 높은 정밀도를 유지하기 위해.
• 통합적이고 확장 가능한 인덱싱 프레임워크에서 다양한 인기 있는 CNN 특징 간의 공정한 비교를 제공하기 위해.

제안 방법

• 모든 CNN 특징 벡터가 클러스터링을 통해 여러 코드워드로 매핑되는 인verted 테이블 구조를 사용하여, 관련 이미지가 동일한 보로노이 세포에 포함될 가능성을 높인다.
• 특징 벡터를 코드워드에 다중 할당하여 검색 중 레콜을 향상시키고 양자화 오차를 감소시킨다.
• 해싱 기법(예: VDSH)을 사용해 임베딩 코드를 계산하여 검색 중 오진 매칭을 걸러내고 매칭을 정밀화한다.
• 랭킹 규칙을 수정하여 코드워드 유사도와 임베딩 코드 유사도를 종합적으로 고려해 후보를 우선순위 정렬함으로써 정밀도를 향상시킨다.
• 비지도 및 지도 학습 기반 해싱 방법을 모두 지원하며, 통합 사례로 VDSH를 활용한다.
• 이진 임베딩 코드 상의 빠른 비트 연산을 통해 전체 벡터 비교를 대체함으로써 검색 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 글로벌 CNN 특징 검색을 가속화하기 위해 인verted 테이블 인덱싱 구조를 효과적으로 적응시킬 수 있는가?
• RQ2 다중 코드워드 할당은 CNN 기반 인덱싱에서 검색 정확도를 향상시키고 양자화 오차를 어떻게 줄일 수 있는가?
• RQ3 해싱 기반 임베딩 코드는 CNN 특징 검색에서 정밀도를 향상시키면서도 속도를 유지하는 데 어느 정도 기여하는가?
• RQ4 대규모 벤치마크에서 제안된 IFC 프레임워크는 브루트포스 및 기존 해싱 방법과 비교해 성능과 속도에서 어떻게 뛰어나게 되는가?
• RQ5 특징 추출에 사용된 기초 CNN 아키텍처에 따라 인덱싱 프레임워크의 성능이 달라지는가?

주요 결과

• NUS-WIDE+Flickr1M 데이터셋에서 IFC는 VDSH 대비 최대 17배 빠른 검색 속도를 달성했으며, mAP는 5% 감소에 그쳤다.
• Oxford 및 Paris 데이터셋에서 IFC-VDSH는 각각 mAP 점수 0.5865와 0.5915를 기록하며 높은 정밀도를 유지했고, 쿼리당 검색 시간은 0.1초 이하로 단축되었다.
• 다중 코드워드 할당은 관련 이미지가 동일한 보로노이 세포에 함께 포함될 가능성을 높여 레콜을 크게 향상시킨다.
• VDSH를 통한 임베딩 코드 활용은 특히 고차원 CNN 특징 공간에서 오진 매칭을 줄이고 정밀도를 향상시킨다.
• 프레임워크는 다양한 CNN 아키텍처(예: AlexNet, VGG16, VGG19, GoogLeNet, ResNets)에 대해 뛰어난 적응성을 보이며 일관된 성능 향상을 보였다.
• 메모리 사용이 크게 감소하였으며, 프레임워크는 이미지 ID와 압축된 이진 임베딩 코드만 저장하므로 대규모 배포에 적합하다.