[논문 리뷰] Towards Practical Visual Search Engine within Elasticsearch

Cun Mu, Jun Zhao외 3명|arXiv (Cornell University)|2018. 06. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 4인용 수 9

한 줄 요약

이 논문은 고차원 이미지 특징 벡터를 문자열 토큰으로 인코딩하여 Elasticsearch의 역인verted 인덱스를 활용해 효율적인 근사 최근접 이웃 검색을 수행하는 새로운 시각 검색 시스템을 제안한다. 제안된 벡터에서 문자열으로의 인코딩 방법은 정밀도가 높고(정밀도@24에서 최대 98.2%), 지연 시간이 짧아(0.5초 이내) 확장 가능하고 비용 효율적이며 다중모odal 검색을 가능하게 하여 전자상거래 환경에서의 적용에 적합하다.

ABSTRACT

In this paper, we describe our end-to-end content-based image retrieval system built upon Elasticsearch, a well-known and popular textual search engine. As far as we know, this is the first time such a system has been implemented in eCommerce, and our efforts have turned out to be highly worthwhile. We end up with a novel and exciting visual search solution that is extremely easy to be deployed, distributed, scaled and monitored in a cost-friendly manner. Moreover, our platform is intrinsically flexible in supporting multimodal searches, where visual and textual information can be jointly leveraged in retrieval. The core idea is to encode image feature vectors into a collection of string tokens in a way such that closer vectors will share more string tokens in common. By doing that, we can utilize Elasticsearch to efficiently retrieve similar images based on similarities within encoded sting tokens. As part of the development, we propose a novel vector to string encoding method, which is shown to substantially outperform the previous ones in terms of both precision and latency. First-hand experiences in implementing this Elasticsearch-based platform are extensively addressed, which should be valuable to practitioners also interested in building visual search engine on top of Elasticsearch.

연구 동기 및 목표

• Elasticsearch가 텍스트 검색을 위해 설계된 시스템 내에서 효율적인 콘텐츠 기반 이미지 검색을 가능하게 하기 위해.
• 특징 벡터를 메모리에 로드할 필요 없이 고차원 벡터 유사도 검색을 처리할 수 있도록 Elasticsearch의 한계를 극복하기 위해.
• 기존 전자상거래 인프라와 호환되는 확장 가능하고 비용 효율적이며 프로덕션 환경에서 사용 가능한 시각 검색 솔루션을 개발하기 위해.
• 단일 인덱스 내에서 시각적 쿼리와 텍스트 쿼리를 자연스럽게 통합하여 다중모달 검색을 지원하기 위해.
• 벡터에서 문자열으로의 인코딩이 실제 전자상거래 응용에서 높은 정밀도와 낮은 지연 시간을 달성할 수 있음을 입증하기 위해.

제안 방법

• 딥 러닝 모델을 사용해 이미지 특징를 추출하고, 이를 고차원 유클리드 공간에 매핑한다.
• 유사한 벡터가 더 많은 공통 토큰을 공유하도록 하는 새로운 벡터에서 문자열으로의 인코딩 방법을 제안한다.
• 인코딩된 문자열 토큰을 Elasticsearch의 역인verted 인덱스에 색인하여 토큰 겹침 기반으로 후보 이미지를 신속하게 검색할 수 있도록 한다.
• 쿼리 시간에 쿼리 벡터를 문자열 토큰으로 인코딩하고, Elasticsearch의 토큰 기반 검색을 통해 후보 집합을 추출한다.
• 최종 정밀도를 확보하기 위해 후보 집합을 쿼리 벡터와의 정확한 유클리드 거리 기반으로 재정렬한다.
• 시각적 특징 토큰과 텍스트 기반 제품 메타데이터를 단일 Elasticsearch 인덱스에 공동 색인하여 다중모달 검색을 지원한다.

실험 결과

연구 질문

• RQ1 텍스트 검색을 위해 설계된 Elasticsearch 위에 효과적으로 시각 검색 시스템을 구축할 수 있는가?
• RQ2 고차원 이미지 특징 벡터를 어떻게 효율적으로 문자열 토큰으로 인코딩할 수 있을까? 이를 통해 Elasticsearch의 역인verted 인덱스를 이용한 유사도 검색이 가능하게 할 수 있는가?
• RQ3 전자상거래 환경에서 시각 검색을 위한 벡터에서 문자열으로의 인코딩에서 정밀도와 지연 시간 사이의 상호 상충 관계는 어떻게 되는가?
• RQ4 시스템은 시각적 쿼리와 텍스트 쿼리를 통합하는 원활한 다중모달 검색을 지원할 수 있는가?
• RQ5 기존 방법들과 비교해 제안된 인코딩 방법은 검색 정확도와 성능 측면에서 어떤가?

주요 결과

• 제안된 벡터에서 문자열으로의 인코딩 방법은 정밀도와 지연 시간 모두에서 이전 방법들을 뛰어넘으며, 정밀도@24에서 최대 98.20%를 달성하고 평균 지연 시간이 0.5초 미만이다.
• 256개의 중심점과 64개의 서브벡터를 사용한 설정에서 정밀도@24가 96.06%에 도달했고, 이는 0.5초 이내의 지연 시간을 충족하여 핵심 성능 기준을 충족한다.
• 256개의 중심점과 256개의 서브벡터를 사용한 설정에서 정밀도@24는 98.97%에 도달했고 지연 시간은 0.7970초였으며, 이는 뛰어난 확장성을 보여준다.
• 수백만 개의 고차원 벡터를 RAM에 로드할 필요 없이 비용 효율적인 배포를 가능하게 한다.
• 단일 Elasticsearch 인덱스에 시각적 데이터와 텍스트 데이터를 함께 색인함으로써 원활한 다중모달 검색을 지원한다.
• 실제 전자상거래 환경에서 쉽게 분산, 확장, 모니터링이 가능한 프로덕션 배포가 가능하다.