[論文レビュー] An Approximate Algorithm for Maximum Inner Product Search over Streaming Sparse Vectors

Sebastian Bruch, Franco Maria Nardini+2 more|arXiv (Cornell University)|Jan 25, 2023

Optimization and Search Problems被引用数 5

ひとこと要約

本稿では、従来の正確な手法が前提を満たさないため失敗する、ストリーミングされるスパースな実数値ベクトルに対する最大内積探索（MIPS）の近似アルゴリズムであるSinnamonを提案する。スケッチと座標値上のインverted indexを組み合わせることで、メモリ、遅延、精度の間で調整可能なトレードオフを実現し、多様なベクトル分布を有する合成データおよび実世界のデータセットにおいて高い性能を達成する。

ABSTRACT

Maximum Inner Product Search or top-k retrieval on sparse vectors is well-understood in information retrieval, with a number of mature algorithms that solve it exactly. However, all existing algorithms are tailored to text and frequency-based similarity measures. To achieve optimal memory footprint and query latency, they rely on the near stationarity of documents and on laws governing natural languages. We consider, instead, a setup in which collections are streaming -- necessitating dynamic indexing -- and where indexing and retrieval must work with arbitrarily distributed real-valued vectors. As we show, existing algorithms are no longer competitive in this setup, even against naive solutions. We investigate this gap and present a novel approximate solution, called Sinnamon, that can efficiently retrieve the top-k results for sparse real valued vectors drawn from arbitrary distributions. Notably, Sinnamon offers levers to trade-off memory consumption, latency, and accuracy, making the algorithm suitable for constrained applications and systems. We give theoretical results on the error introduced by the approximate nature of the algorithm, and present an empirical evaluation of its performance on two hardware platforms and synthetic and real-valued datasets. We conclude by laying out concrete directions for future research on this general top-k retrieval problem over sparse vectors.

研究の動機と目的

• 情報検索分野における従来の仮定を満たさないストリーミング、スパース、実数値のベクトルに対する、効率的でスケーラブルな最大内積探索（MIPS）のための解決策が不足していることに対処すること。
• 埋め込みモデルから得られる非負、非整数、またはZipf分布でないベクトルに適用した場合に、WAND、JASS、およびinverted indexといった既存の正確なMIPSアルゴリズムが性能を著しく低下させることを克服すること。
• 近似を用いることで、ストリーミングデータに対する動的インデックス作成を実現し、低遅延と低メモリ消費を維持するシステムを設計すること。
• 近似によって生じる誤差の理論的境界を提示し、異なるハードウェアプラットフォームおよびデータ分布においてアルゴリズムの性能を実証的に検証すること。

提案手法

• Sinnamonは、高次元のスパースなベクトルをコンactな表現に圧縮するための複数のランダムプロジェクションを用いたスケッチ技術を用い、ストレージと計算を削減する。
• 座標値ペアの上にインverted indexを構築することで、クエリ処理中に1座標ずつ効率的に取得できるようにする。
• 誤差確率とメモリ使用量のトレードオフを制御するための調整可能なハイパーパrameter h（ランダムマッピングの数）を活用する。
• 2段階の検索プロセスを採用する：まずスケッチを用いた近似による候補選定；次に、最終的なランク付けのための削減された候補集合上で正確な内積計算を実行する。
• 新しいベクトルがストリーミングされるたびにスケッチとインverted indexを段階的に更新することで、動的インデックス作成を可能にし、リアルタイムアプリケーションに適している。
• 理論的分析により、トップ-k検索における誤差の確率が境界づけられ、hを増やすことで誤差確率が0に近づくことが示され、予測可能な精度制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 任意の非定常的で実数値のスパースなベクトル分布においても、効率的かつ正確に動作する近似MIPSアルゴリズムを設計できるか？
• RQ2 非負性やZipf分布といった仮定に依存せずに、ストリーミング環境におけるメモリ、遅延、精度の柔軟なトレードオフを実現できるか？
• RQ3 近似されたinverted listと圧縮データ構造を用いることで、インデックスサイズをどれだけ小さくできるか、かつ検索品質に悪影響を及げないか？
• RQ4 理論的誤差境界を用いて、1クエリごとに所望の検索精度を達成するための候補集合サイズ（k′）を予測できるか？
• RQ5 密度の高い部分とスパースな部分を併せ持つハイブリッドベクトルを、統一的または分離的なアプローチで効率的にインデックス化・検索できるか？

主な発見

• Sinnamonは、実数値、非整数、高エントロピーを持つスパースなベクトルにおいて、WAND や JASS といった正確な手法よりも優れた性能を示し、既存のアルゴリズムが著しく性能を低下させる状況でも有効である。
• G100およびG200の合成データセットにおいて、RoaringからPForDeltaへの圧縮方式の切り替えにより、インデックスサイズが約23％削減され、1.7 GBから1.3 GBにまで減少した。これは、オフライン圧縮の影響を示している。
• Sinnamonにおけるランダムマッピングの数（h）を増やすことで、誤差確率が低下し、その分布が0に近づくことが確認され、メモリ制限のある環境でもより良い精度制御が可能になる。
• 理論的分析により、誤差確率はhを用いて定量的に評価可能であり、精度とリソース使用量の間の予測可能なトレードオフが実現可能であることが示された。
• 実証的評価により、Sinnamonは2つのハードウェアプラットフォームおよび多様なデータ分布において有効であることが確認され、SPLADEや他のモデルからの実世界の埋め込みベクトルにも適用可能である。
• 本アルゴリズムにより、正確な手法が高遅延や高メモリオーバーヘッドにより実用的でないストリーミングシステムへの実用的導入が可能になった。