[논문 리뷰] Sum Estimation via Vector Similarity Search

Stephen Mussmann, Raje, Mehul Smriti외 4명|arXiv (Cornell University)|2026. 01. 16.

Advanced Image and Video Retrieval Techniques인용 수 0

한 줄 요약

논문은 지수적으로 레벨링된 데이터 구조에서 상위 요소 O(log n)개를 사용하여 벡터 기반 데이터세트의 합을 추정하는 알고리즘을 제시하고, 고확률 오차bound를 가지는 편향되지 않은 추정치를 얻으며 기존의 O(sqrt(n)) 방법보다 효율적임을 보인다.

ABSTRACT

Semantic embeddings to represent objects such as image, text and audio are widely used in machine learning and have spurred the development of vector similarity search methods for retrieving semantically related objects. In this work, we study the sibling task of estimating a sum over all objects in a set, such as the kernel density estimate (KDE) and the normalizing constant for softmax distributions. While existing solutions provably reduce the sum estimation task to acquiring $\mathcal{O}(\sqrt{n})$ most similar vectors, where $n$ is the number of objects, we introduce a novel algorithm that only requires $\mathcal{O}(\log(n))$ most similar vectors. Our approach randomly assigns objects to levels with exponentially-decaying probabilities and constructs a vector similarity search data structure for each level. With the top-$k$ objects from each level, we propose an unbiased estimate of the sum and prove a high-probability relative error bound. We run experiments on OpenImages and Amazon Reviews with a vector similar search implementation to show that our method can achieve lower error using less computational time than existing reductions. We show results on applications in estimating densities, computing softmax denominators, and counting the number of vectors within a ball.

연구 동기 및 목표

• 정확한 합계에 의존하지 않고 벡터 유사도 검색을 이용한 합 추정 문제를 동기 부여하고 형식화한다.
• 레벨 기반 데이터 구조 접근법을 제안하여 검색된 요소를 O(log n)으로 축소한다.
• 합에 대한 편향되지 않은 추정치를 제공하고 고확률 상대 오차 경계를 증명한다.
• 실데이터셋에서 KDE, softmax 분모, 구 안의 카운팅에 대해 방법을 시연한다.
• 실용적 성능을 조사하고 기존 벡터 검색 시스템과의 통합을 논의한다.

제안 방법

• f_q에 대해 X에서 Top_k를 반환하는 최대화 오라클에 접근할 수 있다고 가정하고, 지수적으로 감소하는 레벨 할당(ell(x) ~ Geometric with p=1/2)으로 각 레벨당 데이터 구조를 구축한다.
• 모든 레벨의 Top_k의 합집합인 U를 정의하고 U의 상위 요소들을 사용하여 합 F = sum_x f_q(x)의 편향되지 않은 추정치 E를 형성한다.
• 레벨 인지 확률 p_i로 E = sum_{x in U} f_q(x) / p_i를 계산하고 레벨이 채워질 때 p를 업데이트한다 (C_ell = k).
• 주어진 U와 레벨 카운트에서 E를 계산하는 간단한 선형시간 절차를 제공한다.
• 마르가린 음의 Bernstein 부등식 및 Chernoff-type 보조정리를 사용하여 고확률 상대 오차 경계를 증명한다.
• 선택적으로 상수 c로 보정하여 분산을 줄이는 보조변수(control variate)를 적용한다.

실험 결과

연구 질문

• RQ1 데이터세트 X의 비음수 함수 f_q의 합을 최대화 오라클에서 조회된 O(log n)개의 요소만으로 추정할 수 있는가?
• RQ2 이런 O(log n) 레벨 기반 추정기에 대한 편향 없는 추정 보증 및 고확률 상대 오차 경계는 어떻게 되는가?
• RQ3 제안한 방법이 KDE, softmax 분모, 볼 내부의 카운팅에서 베이스라인과 비교해 어떤 성능을 보이는가?
• RQ4 이 프레임워크를 기존 벡터 검색 시스템(HNSW 등)과 통합하여 실제 실행 시간을 개선할 수 있는가?
• RQ5 벡터 검색을 블랙박스 최대화 오라클로 다룰 때의 한계와 실용적 고려사항은 무엇인가?

주요 결과

• 제안된 추정기는 지수로 샘플링된 레벨의 Top_k를 사용하여 합의 편향되지 않은 추정치를 형성한다.
• k와 delta를 튜닝하면 방법은 O(sqrt(log(1/delta)/k))의 고확률 상대 오차를 달성한다.
• Open Images와 Amazon Reviews에서 KDE, softmax, 카운팅 과제들에서 기존 감소 방식들보다 오차가 작고 실행 시간이 빠른 것을 보인다.
• 방법은 편향성을 유지하고 martingale 기반 경계 및 잠재적 보정변수로 분산 제어를 명시적으로 제공한다.
• 본 연구는 HNSW와의 통합 가능성에 대해 논의하고 런타임 보장을 위한 오라클 기반의 한계를 인정한다.