[論文レビュー] Sum Estimation via Vector Similarity Search

Stephen Mussmann, Raje, Mehul Smriti+4 more|arXiv (Cornell University)|Jan 16, 2026

Advanced Image and Video Retrieval Techniques被引用数 0

ひとこと要約

論文は、指数的にレベル付けされたデータ構造の上位要素 O(log n) を用いてベクトルベースのデータセットの和を推定するアルゴリズムを提示し、高確率の誤差境界を持つ不偏推定量を得て、従来の O(sqrt(n)) 法より効率的であることを実証する。

ABSTRACT

Semantic embeddings to represent objects such as image, text and audio are widely used in machine learning and have spurred the development of vector similarity search methods for retrieving semantically related objects. In this work, we study the sibling task of estimating a sum over all objects in a set, such as the kernel density estimate (KDE) and the normalizing constant for softmax distributions. While existing solutions provably reduce the sum estimation task to acquiring $\mathcal{O}(\sqrt{n})$ most similar vectors, where $n$ is the number of objects, we introduce a novel algorithm that only requires $\mathcal{O}(\log(n))$ most similar vectors. Our approach randomly assigns objects to levels with exponentially-decaying probabilities and constructs a vector similarity search data structure for each level. With the top-$k$ objects from each level, we propose an unbiased estimate of the sum and prove a high-probability relative error bound. We run experiments on OpenImages and Amazon Reviews with a vector similar search implementation to show that our method can achieve lower error using less computational time than existing reductions. We show results on applications in estimating densities, computing softmax denominators, and counting the number of vectors within a ball.

研究の動機と目的

• ベクトル類似検索を用いた和の推定問題を、厳密な総和を超えて動機付け・形式化する。
• retrieved 要素を O(log n) に削減するレベルベースのデータ構造手法を提案する。
• 和の不偏推定量を提供し、高確率の相対誤差境界を証明する。
• KDE、softmax の分母、ボール内のカウントなど、実データセットで手法を実証する。
• 実用的な性能を調査し、既存のベクトル検索システムとの統合を議論する。

提案手法

• f_q に対する Top_k を返す最大化オラクルへのアクセスを仮定し、レベルごとに指数的に減衰するレベル割り当て（ell(x) ~ Geometric with p=1/2）を用いたデータ構造を構築する。
• Top_k の全レベルの集合 U を定義し、U からのトップ要素を用いて和 F = sum_x f_q(x) の不偏推定量 E を作成する。
• レベル意識的な確率 p_i を用いて、E = sum_{x in U} f_q(x) / p_i を計算し、レベルが埋まると p を更新する（C_ell = k）。
• U とレベル数を与えられたときに E を線形時間で計算する簡易な手続きを提供する。
• マルチンゲール・ベルヌーイの不等式と Chernoff 型補題を用いて高確率の相対誤差境界を証明する。
• 必要に応じて、定数 c を用いて分散を低減するコントロール変量を適用することを検討する。

実験結果

リサーチクエスチョン

• RQ1 データセット X 上の非負関数 f_q の和を、最大化オラクルから O(log n) 個の取得要素だけで推定できるか。
• RQ2 このような O(log n) レベルベース推定量の不偏推定保証と高確率の相対誤差境界はどうなるか。
• RQ3 提案手法は KDE、softmax の分母、ボール内のカウントに対して、従来のベースラインと比較してどの程度性能を発揮するか。
• RQ4 このフレームワークを既存のベクトル検索システム（例: HNSW）と統合して実用的な実行時間を改善できるか。
• RQ5 ベクトル検索をブラックボックスの最大化オラクルとして扱う際の制約と実務上の考慮点は何か。

主な発見

• 指数的にサンプルされたレベルから Top_k を用いて和の不偏推定量を構成する。
• k と delta を調整すると、手法は高確率の相対誤差を O(sqrt(log(1/delta)/k)) に達成する。
• Open Images および Amazon Reviews の実験で、KDE、softmax、カウントタスクにおいて既存の還元法より誤差が小さく実行時間が速い。
• 不偏性を維持し、マルチンゲールに基づく境界と潜在的なコントロール変量による分散制御を提供する。
• HNSW との統合機会を検討し、オラクルベースの実行時間保証に対する制約を認識している。