[논문 리뷰] Zoom: SSD-based Vector Search for Optimizing Accuracy, Latency and Memory

Minjia Zhang, Yuxiong He|arXiv (Cornell University)|2018. 09. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 3

한 줄 요약

Zoom은 메모리에 저장된 압축된 양자화된 벡터를 사용해 빠른 후보자_preview_를 제공하고, SSD에 저장된 전체 길이의 벡터를 사용해 고정밀도 재정렬을 수행하는 이단계 기반 SSD 기반 벡터 검색 시스템을 제안한다. 다중 시각적 접근 방식을 통해 Zoom은 최신 기술 대비 최대 14.9배 높은 VQ(초당 머신당 처리 가능한 벡터 수)를 달성하면서도 정확도를 유지하거나 향상시켜 인프라 비용과 지연 시간을 크게 감소시킨다.

ABSTRACT

With the advancement of machine learning and deep learning, vector search becomes instrumental to many information retrieval systems, to search and find best matches to user queries based on their semantic similarities.These online services require the search architecture to be both effective with high accuracy and efficient with low latency and memory footprint, which existing work fails to offer. We develop, Zoom, a new vector search solution that collaboratively optimizes accuracy, latency and memory based on a multiview approach. (1) A "preview" step generates a small set of good candidates, leveraging compressed vectors in memory for reduced footprint and fast lookup. (2) A "fullview" step on SSDs reranks those candidates with their full-length vector, striking high accuracy. Our evaluation shows that, Zoom achieves an order of magnitude improvements on efficiency while attaining equal or higher accuracy, comparing with the state-of-the-art.

연구 동기 및 목표

• 온라인 서비스를 위한 대규모 벡터 검색에서 높은 정확도, 낮은 지연 시간, 낮은 메모리 점유율을 동시에 확보하는 데 도전한다.
• 기존의 그래프 기반 및 양자화 기반 ANN 방법은 메모리 오버헤드가 크거나 정확도 저하 문제가 발생하므로 이를 극복한다.
• 이중단계의 후보자_프리뷰_와 재정렬 아키텍처를 통해 SSD를 활용해 전체 벡터 재정렬을 효율적으로 수행하면서도 지연 시간과 메모리 사용량을 최소화하는 시스템을 설계한다.
• 실제 인프라 비용과 확장성에 더 잘 반영되는 새로운 효율성 지표인 VQ(머신당 초당 처리 가능한 벡터 수 × 쿼리 수)를 도입한다.

제안 방법

• 주로 메인 메모리에 저장된 압축된 양자화된 벡터를 사용해 진짜 최상위-K 근접 이웃를 포함할 가능성이 높은 작은 후보 집합을 신속하게 검색하는 프리뷰 단계를 구현한다.
• 전체 길이의 벡터를 사용해 후보 집합을 재정렬하는 전체 시각 단계를 SSD에서 수행하여, 양자화로 인한 잠재적 오류를 수정함으로써 고정밀도를 확보한다.
• 배치 처리 및 비차단 I/O, SSD에서 후보자 재정렬 작업을 비동기적으로 제출함으로써 지연 시간을 최적화한다.
• 재정렬 단계에서 계산 오버헤드를 최소화하기 위해 효율적인 거리 계산 및 라우팅 전략을 구현한다.
• 빠른 메모리로 프리뷰를, 지속 가능한 SSD로 전체 벡터를 저장하는 계층적 스토리지 아키텍처를 활용해 속도, 정확도, 비용을 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 메모리에 저장된 프리뷰와 SSD 기반 전체 벡터 재정렬을 조합한 이단계 벡터 검색 시스템이 기존 방법보다 더 높은 정확도를 달성하면서도 메모리와 지연 시간을 줄일 수 있는가?
• RQ2 IVFPQ 및 HNSW와 같은 최신 기술 대비 Zoom 시스템의 VQ(효율성), 정확도(재현율), 지연 시간 측면에서의 성능은 어떠한가?
• RQ3 전체 성능 저하 없이 SSD를 고처리량, 저지연 재정렬에 효과적으로 활용할 수 있는 정도는 어느 정도인가?
• RQ4 후보자 집합 크기(R)와 재정렬 지연 시간 사이의 최적의 트레이드오프는 무엇이며, 이는 재현율과 시스템 처리량에 어떤 영향을 미치는가?

주요 결과

• Zoom은 IVFPQ 대비 1.7–8.0배, HNSW 대비 2.7–9.0배 높은 VQ를 기록하여 시스템 효율성과 비용 절감에 상당한 기여를 한다.
• 동일한 정확도 목표(예: 재현율 ≥0.90)를 충족할 경우, Zoom은 IVFPQ 대비 12.2–14.9배 높은 VQ를 달성하여 인프라 비용을 12.2–14.9배 절감할 수 있다.
• R=100일 때, Zoom은 Deep10M(K=1)에서 재현율 0.998을 달성했으며, 이는 비교적 유사하거나 더 낮은 지연 시간에서 IVFPQ(0.697)와 HNSW(0.983)를 뛰어넘는 성능이다.
• 삼성 프로 960 SSD에서 100개의 전체 길이 벡터(512바이트)를 재정렬하는 데 0.6ms 미만이 소요되어 저지연 성능을 입증한다.
• 소비자용 SSD(예: 삼성 860 EVO)에서도 지연 시간이 낮게 유지되며, 100개의 벡터 재정렬에 1.2ms 미만이 소요되어 다양한 스토리지 레이어에서의 강건성을 입증한다.
• 다중 시각적 접근 방식을 통해 Zoom은 매우 작은 후보자 집합으로도 거의 완벽한 재현율(최대 0.998)을 달성함으로써 효율성을 희생하지 않고도 고정밀도를 확보할 수 있음을 입증한다.