[논문 리뷰] Efficient Inner Product Approximation in Hybrid Spaces

Xiang Wu, Ruiqi Guo외 3명|arXiv (Cornell University)|2019. 03. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 희소 및 고밀도 벡터를 조합한 고차원 하이브리드 공간에서 효율적인 내적 근사화를 위한 새로운 방법을 제안한다. 아키텍처 인지 데이터 구조를 활용하여 높은 재현율을 유지하면서도 10배 이상의 속도 향상을 달성한다. 이 방법은 빌리온 스케일 데이터셋에서 기존 베이스라인을 초월하며, 추천 시스템 및 문서 검색과 같은 실세계 응용 분야에서 빠르고 정확한 유사도 검색을 가능하게 한다.

ABSTRACT

Many emerging use cases of data mining and machine learning operate on large datasets with data from heterogeneous sources, specifically with both sparse and dense components. For example, dense deep neural network embedding vectors are often used in conjunction with sparse textual features to provide high dimensional hybrid representation of documents. Efficient search in such hybrid spaces is very challenging as the techniques that perform well for sparse vectors have little overlap with those that work well for dense vectors. Popular techniques like Locality Sensitive Hashing (LSH) and its data-dependent variants also do not give good accuracy in high dimensional hybrid spaces. Even though hybrid scenarios are becoming more prevalent, currently there exist no efficient techniques in literature that are both fast and accurate. In this paper, we propose a technique that approximates the inner product computation in hybrid vectors, leading to substantial speedup in search while maintaining high accuracy. We also propose efficient data structures that exploit modern computer architectures, resulting in orders of magnitude faster search than the existing baselines. The performance of the proposed method is demonstrated on several datasets including a very large scale industrial dataset containing one billion vectors in a billion dimensional space, achieving over 10x speedup and higher accuracy against competitive baselines.

연구 동기 및 목표

• 희소 및 고밀도 특징을 조합한 고차원 하이브리드 벡터 공간에서 효율적인 유사도 검색 문제를 해결하기 위해.
• 기존 기술이 희소 또는 고밀도 데이터에만 적용 가능한 한계를 극복하고, 낮은 지연 시간을 유지하면서도 높은 정확도를 확보하는 방법을 개발하기 위해.
• 현대 CPU 아키텍처의 특징을 활용하여 메모리 내 성능을 극대화하는 최적화된 데이터 구조를 설계하기 위해.
• 최대 10억 개의 벡터를 포함하는 산업 규모의 데이터셋에서 확장 가능하고 실시간 유사도 검색을 가능하게 하기 위해.
• 공개 및 대규모 산업 데이터셋에서 상태 기준 베이스라인 대비 속도와 재현율 측면에서 본 방법의 우수성을 입증하기 위해.

제안 방법

• 이 방법은 하이브리드 벡터 간 내적을 계산할 때 계산을 별도의 희소 및 고밀도 성분으로 분해하여 효율적인 계산을 가능하게 한다.
• 희소 성분을 위한 인verted 인덱싱과 고밀도 성분을 위한 제품 양자화(PQ)를 결합한 하이브리드 인덱스 구조를 사용하여 검색 속도를 향상시킨다.
• 이 방법은 이중 단계 검색을 적용한다: 첫 번째 단계에서 하이브리드 인덱스를 사용해 근사적인 후보를 추출하고, 두 번째 단계에서 정확한 내적 계산을 상위 후보들에만 수행하여 정확도를 확보한다.
• 최신 CPU 캐시 계층 및 벡터화된 명령어를 최적화하여 처리량을 극대화하고 지연 시간을 최소화한다.
• 200台의 서버에 데이터셋을 샤딩하여 저지연, 고처리량 온라인 쿼리를 지원하는 분산 온라인 검색 시스템을 구현한다.
• 고밀도 성분을 희소 형태로 변환하지 않고 전체 하이브리드 벡터 공간을 처리하여 성능과 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 기존 기술이 실패하는 하이브리드 희소-고밀도 벡터 공간에서 통합적이고 효율적인 내적 근사화 방법을 설계할 수 있는가?
• RQ2 현대 컴퓨터 아키텍처의 기능을 어떻게 활용하여 하이브리드 벡터 공간에서의 유사도 검색을 가속화할 수 있는가?
• RQ3 혼합된 희소성과 밀도를 가진 빌리온 차원의 하이브리드 데이터셋을 검색할 때 속도와 재현율 사이의 상호 보완적 관계는 어떠한가?
• RQ4 희소 및 고밀도 성분을 별도로 인덱싱하는 것보다 하이브리드 인덱싱 전략이 속도와 정확도 측면에서 뛰어나게 작용할 수 있는가?
• RQ5 제안된 방법은 10억 개의 벡터와 수조 개의 차원을 포함하는 산업 규모의 데이터셋에 어떻게 확장 가능한가?

주요 결과

• 10억 개의 벡터와 10억 차원을 가진 산업용 데이터셋(QuerySim)에서 제안된 방법은 20개의 상위 결과에 대해 91% 재현율@20을 달성했으며, 쿼리 지연 시간은 20.0ms로, 다음으로 우수한 베이스라인 대비 20배 이상 빠른 성능을 보였다.
• 이 방법은 동일한 데이터셋에서 모든 쌍 간의 유사도 검색을 위해 기존의 희소 인verted 인덱스(3개월)와 희소 브루트 포스(9년) 방식을 각각 1주일 이내로 단축시켰다.
• Netflix 및 Movielens 하이브리드 공개 데이터셋에서 91~92% 재현율@20를 달성했고, 지연 시간은 18.8~2.6ms로, 유사하거나 더 높은 재현율을 보이는 베이스라인 대비 뚜렷하게 빠른 성능을 보였다.
• 200대의 서버로 구성된 분산 온라인 배포 환경에서 평균 지연 시간 79ms에 90% 재현율@20를 달성하여 실시간 생산 환경 요구사항을 충족했다.
• 512비트 히브리드 해싱과 고밀도 전용 PQ 인덱싱은 더 빠른 속도를 보였지만, 심각한 재현율 손실(0~45%)을 겪었고, 본 방법은 이에 비해 높은 정확도를 유지했다.
• 고밀도 성분이 비중이 있는 경우(예: 203차원)에도 본 방법은 순수 희소 또는 고밀도 방법에서 관찰되는 성능 저하 없이 높은 정확도를 유지했다.