[論文レビュー] DB-LSH: Locality-Sensitive Hashing with Query-based Dynamic Bucketing

Yao Tian, Xi Zhao+1 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

DB-LSH は、クエリに基づく動的バケット化と多次元インデクシングを用いた、局所性に敏感なハッシュ方式の新規提案であり、サブ線形のクエリ時間と縮小されたインデックスサイズを実現する。固定ハッシュテーブルに依存するのではなく、クエリ時にハイパーキューブ型のバケットを動的に構築することにより、ハッシュ境界問題を回避し、理論的上限 ρ* が 1/c^α に達する。これは、高次元データセットにおいて、従来手法よりも効率性と正確性の両面で優れている。

ABSTRACT

Among many solutions to the high-dimensional approximate nearest neighbor (ANN) search problem, locality sensitive hashing (LSH) is known for its sub-linear query time and robust theoretical guarantee on query accuracy. Traditional LSH methods can generate a small number of candidates quickly from hash tables but suffer from large index sizes and hash boundary problems. Recent studies to address these issues often incur extra overhead to identify eligible candidates or remove false positives, making query time no longer sub-linear. To address this dilemma, in this paper we propose a novel LSH scheme called DB-LSH which supports efficient ANN search for large high-dimensional datasets. It organizes the projected spaces with multi-dimensional indexes rather than using fixed-width hash buckets. Our approach can significantly reduce the space cost as by avoiding the need to maintain many hash tables for different bucket sizes. During the query phase of DB-LSH, a small number of high-quality candidates can be generated efficiently by dynamically constructing query-based hypercubic buckets with the required widths through index-based window queries. For a dataset of $n$ $d$-dimensional points with approximation ratio $c$, our rigorous theoretical analysis shows that DB-LSH achieves a smaller query cost ${O(n^{ρ^*} d\log n)}$, where ${ρ^*}$ is bounded by ${1/c^α}$ while the bound is ${1/c}$ in the existing work. An extensive range of experiments on real-world data demonstrates the superiority of DB-LSH over state-of-the-art methods on both efficiency and accuracy.

研究の動機と目的

• 高次元近似最近傍（ANN）検索におけるインデックスサイズとクエリ効率のトレードオフを解消すること。
• 固定幅バケットを用いる従来の LSH 手法におけるハッシュ境界問題と誤検出問題を克服すること。
• 候補フィルタリングや衝突回数カウントの追加オーバーヘッドなしに、サブ線形のクエリ時間の維持を達成すること。
• 複数の固定ハッシュテーブルを1つの多次元インデックス構造に置き換えることで、インデックスサイズを削減すること。
• 従来の 1/c に対する境界と比較して、よりタイトな 1/c^α の ρ* 界への強い理論的保証を提供すること。

提案手法

• DB-LSH は、ハッシングとバケット化を分離し、固定幅のハッシュバケットに代えて、投影点を多次元インデックスに格納する。
• クエリ時には、クエリポイントの位置に基づいて動的にハイパーキューブ型バケットを構築し、インデックスベースのウィンドウクエリを用いて候補を取得する。
• バケット幅はクエリごとに適応的に決定され、高品質な候補集合を確保すると同時に、誤検出を最小限に抑える。
• 理論的枠組みとして、ρ* ≤ 1/c^α を採用し、従来の LSH 手法における ρ ≤ 1/c の境界を改善する。
• 衝突回数カウントを避けるために空間インデックスを活用し、サブ線形のクエリ複雑度を保持する。
• c-ANN および (r,c)-NN クエリの両方をサポートし、成功確率と近似比に強い理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 クエリコンテキストに基づく動的バケット化は、高次元 ANN 検索におけるインデックスサイズの削減とクエリ効率の向上を実現できるか？
• RQ2 固定幅ハッシュテーブルを排除することで、ハッシュ境界問題が解消され、誤検出が減少するか？
• RQ3 従来の LSH 手法よりもタイトな ρ* 界を達成しつつ、サブ線形のクエリコストを維持できるか？
• RQ4 実世界のデータセットにおいて、DB-LSH は最先端の LSH 手法と比較して、クエリ時間、再現率、インデックスサイズの観点でどのように差をつけるか？
• RQ5 多次元インデクシングを用いた動的バケット化は、静的または衝突回数カウントを伴う LSH 変種と比較して、より優れた正確性・効率のトレードオフを達成できるか？

主な発見

• DB-LSH は理論的クエリコストとして O(n^ρ*d log n) を達成し、ρ* ≤ 1/c^α である。これは、従来の手法における 1/c の境界を顕著に上回る。
• Gist や TinyImages80M、SIFT10M といった実世界のデータセットにおいて、同じ再現率で2番目に優れた手法と比較して、クエリ時間を 10% から 70% 削減した。
• データセットサイズが変化しても、再現率と全体の比率が安定しており、n の増加に伴って精度が著しく低下することもなかった。
• DB-LSH のインデックスサイズは O(n^{1+ρ*}d log n) であり、動的バケット化のおかげで、従来の (K,L)-インデックス手法よりも顕著に小さくなった。
• 再現率時間および全体の比率時間の曲線において、DB-LSH はすべての競合手法よりも低いクエリ時間でより高い正確性に到達した。
• テストされたすべての k 値において、DB-LSH は最良の競合手法よりも再現率で 5%～10% 高く、かつより速いクエリ時間を維持した。