[論文レビュー] High-Dimensional Approximate Nearest Neighbor Search: with Reliable and Efficient Distance Comparison Operations

Jianyang Gao, Cheng Long|arXiv (Cornell University)|Mar 17, 2023

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、高次元近似K近傍（AKNN）探索における距離比較演算（DCO）の高速化を目的として、ADSamplingを提案する。ADSamplingは、全次元を走査する代わりに次元を対数的にサンプリングする確率的アルゴリズムであり、ほとんどの場合でDCOの実行時間をO(D)からO(log D)に短縮することで、精度のほぼ損失なしに効率を著しく向上させる。理論的保証と実験的検証を伴い、複数のAKNNアルゴリズムにおいて顕著な性能向上を達成している。

ABSTRACT

Approximate K nearest neighbor (AKNN) search is a fundamental and challenging problem. We observe that in high-dimensional space, the time consumption of nearly all AKNN algorithms is dominated by that of the distance comparison operations (DCOs). For each operation, it scans full dimensions of an object and thus, runs in linear time wrt the dimensionality. To speed it up, we propose a randomized algorithm named ADSampling which runs in logarithmic time wrt to the dimensionality for the majority of DCOs and succeeds with high probability. In addition, based on ADSampling we develop one general and two algorithm-specific techniques as plugins to enhance existing AKNN algorithms. Both theoretical and empirical studies confirm that: (1) our techniques introduce nearly no accuracy loss and (2) they consistently improve the efficiency.

研究の動機と目的

• 高次元空間における距離比較演算（DCO）の計算コストが原因で生じるAKNN探索の性能ボトルネックを解消すること。
• 大多数の演算において、DCOの時間計算量をO(D)からO(log D)に低減させつつ、高い精度を維持すること。
• ADSamplingに基づく汎用的およびアルゴリズム特有の技術を開発し、既存のAKNNアルゴリズムの精度を損なわずに向上させること。
• 提案手法のDCO高速化手法の効率性と信頼性について、理論的保証と実験的検証を提供すること。

提案手法

• ADSamplingは、ランダム射影と逐次仮説検定を用いて、サンプリングされた次元を介して距離を推定することで、全次元の計算を回避する。
• 集中不等式を適用して近似誤差を制限し、最小限のサンプリングで高確率での正しさを保証する。
• サンプルが距離がしきい値を超過することを示した場合に早期に停止することで、正例と負例を区別する。
• 標準的なDCOを高速化版に置き換えることで、任意のAKNNアルゴリズムにADSamplingを汎用的に統合するプラグイン技術を提供する。
• グラフベース手法（例：HNSW）向けとベクタ量子化（例：IVF）向けに、それぞれ独自の候補生成パターンに最適化された2種類のアルゴリズム特有の技術を設計する。
• ベクトルの正規化と変換により、コサイン類似度や内積比較への応用が可能となる。

実験結果

リサーチクエスチョン

• RQ1 高次元AKNN探索における距離比較演算（DCO）は、顕著な精度損失なしに高速化可能か？
• RQ2 サンプリングに基づく手法が、高い成功確率を維持しつつ、DCOにO(log D)の時間計算量を達成可能か？
• RQ3 ADSamplingは、多様なAKNNアルゴリズムを強化するための汎用プラグインとして統合可能か？
• RQ4 ADSamplingの使用が、AKNN探索全体の効率に与える理論的および実験的影響は何か？
• RQ5 提案手法は、コサイン類似度や内積といった他の類似度測度へも拡張可能か？

主な発見

• ADSamplingは、大多数の演算においてDCOの時間計算量をO(D)からO(log D)に低減させ、実際には対数的性能を達成した。
• DEEPデータセット（256次元）において、HNSWではDCOが総実行時間の77.2％を占めていたが、ADSamplingを適用することで顕著に短縮された。
• 提案手法は、評価されたすべてのデータセットとアルゴリズムで、精度の著しい低下が観察されないほどの無視できるほどの精度損失しか引き起こさない。
• 実験結果から、HNSW、IVF、およびグラフベース手法を含む複数のAKNNアルゴリズムにおいて一貫した高速化が確認された。
• 理論的分析により、ADSamplingが高確率で成功し、データの仮定なしに誤差が有界に保たれることを確認した。
• 単純なベクトル変換により、コサイン類似度や内積比較への応用が可能であり、適用範囲が広がった。