[논문 리뷰] Image Retrieval based on Bag-of-Words model

Jialu Liu|arXiv (Cornell University)|2013. 04. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 46

한 줄 요약

이 논문은 대규모 이미지 검색을 위한 백오프워즈(BoW) 모델을 조사한다. BoW 모델은 국소 SIFT 기술자를 시각적 단어로 양자화하여 스케일러블한 텍스트 기반 색인 및 검색을 가능하게 한다. 이는 벡터 공간 모델링과 어휘 생성, 역색인, 질의 확장 기법을 활용하여 콘텐츠 기반 이미지 검색, 객체 인식, 이미지 분류에서 뛰어난 성능을 달성함을 보여준다.

ABSTRACT

This article gives a survey for bag-of-words (BoW) or bag-of-features model in image retrieval system. In recent years, large-scale image retrieval shows significant potential in both industry applications and research problems. As local descriptors like SIFT demonstrate great discriminative power in solving vision problems like object recognition, image classification and annotation, more and more state-of-the-art large scale image retrieval systems are trying to rely on them. A common way to achieve this is first quantizing local descriptors into visual words, and then applying scalable textual indexing and retrieval schemes. We call this model as bag-of-words or bag-of-features model. The goal of this survey is to give an overview of this model and introduce different strategies when building the system based on this model.

연구 동기 및 목표

• 콘텐츠 기반 이미지 검색(CBIR)에서 백오프워즈(BoW) 모델에 대한 종합적인 개요 제공.
• 핵심점 검출, 국소 기술자 추출, 어휘 생성, 색인 전략 등을 포함한 BoW 기반 시스템의 핵심 구성요소 분석.
• 공간 인코딩, 글로벌 특징과의 융합, 질의 확장과 같은 향상 기법을 통해 BoW의 한계를 극복하는 방법 탐구.
• 객체 인식, 이미지 분류, 애너테이션 등 다양한 분야에서 대규모 검색 작업에서 BoW의 효과성 평가.

제안 방법

• 벡터 양자화를 사용해 국소 SIFT 기술자를 시각적 단어로 양자화하여 시각적 어휘를 구성.
• 각 이미지를 시각적 단어 빈도의 희박한 히스토그램으로 표현하여 텍스트 문서 표현 방식을 모방.
• 시각적 단어 공간에서 효율적이고 확장 가능한 최근접 이웃 검색을 가능하게 하기 위해 역색인 파일 인덱싱 적용.
• 검색 순위 매기기 위해 코사인 유사도, L2 거리, 해밍 거리와 같은 유사도 측정 기법 사용.
• RANSAC 기반 재정렬, 번들링된 특징, 또는 공간-백오프워즈를 통해 공간 정보를 통합하여 정확도 향상.
• 색상 히스토그램 등의 글로벌 특징과 BoW를 융합하고, 전이 폐쇄(expansion) 및 덧셈 질의 확장 기법을 적용하여 검색 품질 향상.

실험 결과

연구 질문

• RQ1 SIFT와 같은 국소 기술자를 대규모 이미지 검색을 위한 스케일러블하고 색인 가능한 표현으로 효과적으로 변환하는 방법은 무엇인가?
• RQ2 BoW 기반 이미지 검색 시스템을 구축할 때 핵심 구성요소와 설계 선택 사항은 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ3 국소 기술자 간의 공간 관계를 BoW 모델에 어떻게 통합하여 검색 정확도를 향상시킬 수 있는가?
• RQ4 BoW를 글로벌 이미지 특징과 융합하고 질의 확장 전략을 적용할 경우 검색 성능 향상 정도는 어느 정도인가?
• RQ5 BoW 모델이 의미적 콘텐츠를 포괄하는 데에 한계를 가지며, 이러한 한계는 어떻게 보완할 수 있는가?

주요 결과

• BoW 모델은 SIFT 기술자와 스케일러블 색인을 활용하여 콘텐츠 기반 이미지 검색, 객체 인식, 이미지 분류, 애너테이션에서 뛰어난 성능을 달성한다.
• 역색인 파일 인덱싱은 대규모 이미지 컬렉션에서 효율적이고 빠른 검색을 가능하게 하여 BoW를 실세계 응용에 적합하게 한다.
• 전이 폐쇄 확장(TCE) 및 덧셈 질의 확장(AQE)과 같은 질의 확장 기법은 신뢰할 수 있는 결과를 이용해 초기 질의를 개선함으로써 검색 정확도를 향상시킨다.
• RANSAC 기반 재정렬 또는 공간-백오프워즈를 통한 공간 정보 통합은 정확도를 향상시키지만, 계산 오버헤드가 증가하는 단점이 있다.
• 색상 히스토그램과 같은 글로벌 특징과 BoW를 융합하면 전체 이미지 분포를 포착함으로써 BoW의 국소 패치 집중성 보완하여 성능 향상이 가능하다.
• 해밍 임베딩은 이진 서명을 저장하여 시각적 단어 유사도를 정밀하게 조정할 수 있는 방법을 제공하지만, 계산 및 저장 오버헤드를 유발한다.