[논문 리뷰] An Approximate Algorithm for Maximum Inner Product Search over Streaming Sparse Vectors

Sebastian Bruch, Franco Maria Nardini외 2명|arXiv (Cornell University)|2023. 01. 25.

Optimization and Search Problems인용 수 5

한 줄 요약

이 논문은 기존의 정확한 방법이 가정을 위반하여 실패하는 스트리밍 중인 희소 실수 벡터에 대해 최대 내적 검색(MIPS)을 위한 근사 알고리즘인 Sinnamon을 제안한다. 스케칭과 좌표 값 기반의 역인덱스를 조합함으로써 Sinnamon은 메모리, 지연 시간, 정확도 사이의 유연한 튜닝을 가능하게 하며, 다양한 벡터 분포에서 합성 및 실세계 데이터셋 모두에서 높은 성능을 달성한다.

ABSTRACT

Maximum Inner Product Search or top-k retrieval on sparse vectors is well-understood in information retrieval, with a number of mature algorithms that solve it exactly. However, all existing algorithms are tailored to text and frequency-based similarity measures. To achieve optimal memory footprint and query latency, they rely on the near stationarity of documents and on laws governing natural languages. We consider, instead, a setup in which collections are streaming -- necessitating dynamic indexing -- and where indexing and retrieval must work with arbitrarily distributed real-valued vectors. As we show, existing algorithms are no longer competitive in this setup, even against naive solutions. We investigate this gap and present a novel approximate solution, called Sinnamon, that can efficiently retrieve the top-k results for sparse real valued vectors drawn from arbitrary distributions. Notably, Sinnamon offers levers to trade-off memory consumption, latency, and accuracy, making the algorithm suitable for constrained applications and systems. We give theoretical results on the error introduced by the approximate nature of the algorithm, and present an empirical evaluation of its performance on two hardware platforms and synthetic and real-valued datasets. We conclude by laying out concrete directions for future research on this general top-k retrieval problem over sparse vectors.

연구 동기 및 목표

• 정보 검색 분야에서 전통적인 가정을 만족하지 못하는 스트리밍 중인 희소 실수 벡터에 대해 최대 내적 검색(MIPS)을 위한 효율적이고 확장 가능한 솔루션이 부족한 문제를 해결하기 위해.
• 임베딩 모델에서 유래한 비음수, 정수형이 아니거나 Zipf 분포를 따르지 않는 벡터에 대해 기존의 정확한 MIPS 알고리즘(예: WAND, JASS, 역인덱스)의 성능 저하 문제를 해결하기 위해.
• 실시간 응용 프로그램에 적합한 낮은 지연 시간과 메모리 소비를 유지하면서 스트리밍 데이터에 대한 동적 색인을 지원하는 시스템을 설계하기 위해.
• 근사로 인해 발생하는 오차의 이론적 경계를 제공하고, 다양한 하드웨어 플랫폼과 데이터 분포에서 알고리즘의 성능을 실증적으로 검증하기 위해.

제안 방법

• Sinnamon은 다수의 무작위 투영을 사용하는 스케칭 기법을 활용해 고차원의 희소 벡터를 압축된 표현으로 압축함으로써 저장 및 계산을 줄인다.
• 좌표-값 쌍에 대한 역인덱스를 구축하여 쿼리 처리 중 좌표 단위로 효율적인 검색을 가능하게 한다.
• 오차 확률과 메모리 사용량 사이의 트레이드오프를 제어하기 위해 조정 가능한 하이퍼파라미터 h(무작위 매핑 수)를 활용한다.
• 두 단계 검색 프로세스를 사용한다: 첫 번째로 스케칭을 이용한 근사 후보 선택; 두 번째로 최종 순위 매기기 위해 축소된 후보 집합에서 정확한 내적 계산 수행.
• 새로운 벡터가 스트림으로 유입됨에 따라 스케칭과 역인덱스를 점진적으로 업데이트함으로써 동적 색인을 지원하여 실시간 응용에 적합하다.
• 이론적 분석을 통해 상위-k 검색에서의 오차 확률을 경계하며, h를 증가시킬수록 오차 확률이 0에 가까워짐을 보여주어 정확도 제어를 예측 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정적이고 임의의 실수형 희소 벡터 분포에서 효율적이고 정확한 근사 MIPS 알고리즘을 설계할 수 있는가?
• RQ2 비음수 또는 Zipf 분포 가정에 의존하지 않고 스트리밍 환경에서 메모리, 지연 시간, 정확도를 얼마나 자유롭게 튜닝할 수 있는가?
• RQ3 근사된 역리스트와 압축된 데이터 구조가 검색 품질을 훼손하지 않고 색인 크기를 얼마나 줄일 수 있는가?
• RQ4 이론적 오차 경계를 활용해 각 쿼리 기반으로 원하는 검색 정확도를 확보하기 위해 필요한 후보 집합 크기(k′)를 예측할 수 있는가?
• RQ5 밀도 높은 성분과 희소 성분을 모두 포함하는 하이브리드 벡터를 통합 또는 분리된 접근 방식을 통해 효율적으로 색인하고 검색할 수 있는가?

주요 결과

• 기존 알고리즘이 크게 떨어지는 실수형, 정수형이 아니며 고엔트로피를 가지는 희소 벡터에서 Sinnamon은 WAND 및 JASS와 같은 정확한 방법보다 뛰어난 성능을 보였다.
• G100 및 G200 합성 데이터셋에서 Roaring 압축에서 PForDelta 압축으로 전환함으로써 색인 크기가 약 23% 감소하여 1.7 GB에서 1.3 GB로 줄었으며, 이는 오프라인 압축의 영향을 입증한다.
• Sinnamon에서 무작위 매핑 수(h)를 증가시킬수록 오차 확률이 감소하고 그 분포가 0에 더 가까워지며, 메모리 제약 조건이 있는 환경에서 더 나은 정확도 제어가 가능하다.
• 이론적 분석을 통해 오차 확률은 h를 통해 정량화되고 제어 가능하며, 정확도와 자원 사용량 사이의 예측 가능한 트레이드오프를 가능하게 한다.
• 실증적 평가를 통해 Sinnamon은 두 하드웨어 플랫폼과 다양한 데이터 분포에서 효과적임을 확인하였으며, SPLADE 및 기타 모델의 실세계 임베딩 벡터를 포함한다.
• 정확한 방법이 높은 지연 시간이나 메모리 오버헤드로 인해 비현실적인 환경에서 실시간 스트리밍 시스템에 실용적으로 구현 가능하다.