[論文レビュー] Optimal Data-Dependent Hashing for Approximate Near Neighbors

Alexandr Andoni, Ilya Razenshteyn|arXiv (Cornell University)|Jan 6, 2015

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 33

ひとこと要約

この論文は、高次元空間における近似近傍問題の最適なデータ依存ハッシュ化方式を提示する。データセットを疑似ランダムな部分集合に分解することで、クエリ時間 $ O(d \cdot n^{\rho+o(1)}) $ および空間計算量 $ O(n^{1+\rho+o(1)} + d\cdot n) $ を達成し、ユークリッド空間では $ \rho = \frac{1}{2c^2-1} $、ハミング空間では $ \rho = \frac{1}{2c-1} $ となる。これは、すべての $ c > 1 $ に対して、従来の最適な LSH 法を上回る。

ABSTRACT

We show an optimal data-dependent hashing scheme for the approximate near neighbor problem. For an $n$-point data set in a $d$-dimensional space our data structure achieves query time $O(d n^{ρ+o(1)})$ and space $O(n^{1+ρ+o(1)} + dn)$, where $ρ= frac{1}{2c^2-1}$ for the Euclidean space and approximation $c>1$. For the Hamming space, we obtain an exponent of $ρ= frac{1}{2c-1}$. Our result completes the direction set forth in [AINR14] who gave a proof-of-concept that data-dependent hashing can outperform classical Locality Sensitive Hashing (LSH). In contrast to [AINR14], the new bound is not only optimal, but in fact improves over the best (optimal) LSH data structures [IM98,AI06] for all approximation factors $c>1$. From the technical perspective, we proceed by decomposing an arbitrary dataset into several subsets that are, in a certain sense, pseudo-random.

研究の動機と目的

• 高次元における近似近傍探索における古典的ローカリティセンシティブハッシュ（LSH）の限界を解決すること。
• ユークリッド空間およびハミング空間の両方において、最適な漸近的性能を達成するデータ依存ハッシュ化方式を開発すること。
• 先行研究が残した理論的・実用的ギャップ（例：[AINR14] は可能性を示唆したが最適性を示さなかった）を克服すること。
• すべての近似係数 $ c > 1 $ に対して、既存の最良の LSH 構造 [IM98, AI06] よりも優れたフレームワークを確立すること。
• 既存手法の性能を上回るか同等の性能を示す、データ依存ハッシュ化の厳密な理論的基盤を構築すること。

提案手法

• 任意のデータセットを疑似ランダム性を示す複数の部分集合に分解する新規な手法を提案する。
• この分解を活用して、データセットの内在的構造に適合したデータ依存ハッシュ化方式を構築する。
• データの幾何構造に適応する一般化された LSH フレームワークを適用し、固定でデータに依存しないハッシュ関数に依存しない。
• 再帰的クラスタリング戦略を導入することで、得られるハッシュ関数が強い局所性保存性を維持することを保証する。
• 確率論的および幾何的議論を用いて、衝突回数およびクエリ時間の期待値を評価する。
• 近似係数 $ c $ と関連付けることで、ユークリッド空間およびハミング空間の両方における最適な指数 $ \rho $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 データ依存ハッシュ化を用いた近似近傍探索において、クエリ時間と空間計算量の最適な漸近的トレードオフは何か？
• RQ2 すべての近似係数 $ c > 1 $ に対して、データ依存ハッシュ化は古典的 LSH よりもクエリ時間および空間計算量の面で優れているか？
• RQ3 データセットをどのように疑似ランダムな部分集合に分割すれば、効率的かつ正確な近似近傍クエリが可能になるか？
• RQ4 データ依存ハッシュ化において、指数 $ \rho $ の理論的下界に到達することは可能か？ 既存の LSH 構造を上回るか同等の性能を達成できるか？
• RQ5 提案手法は、ユークリッド空間およびハミング空間の両方へ一般化可能であり、同等の最適性保証を提供できるか？

主な発見

• 提案されたデータ依存ハッシュ化方式は、クエリ時間 $ O(d \cdot n^{\rho+o(1)}) $ および空間計算量 $ O(n^{1+\rho+o(1)} + d\cdot n) $ を達成し、ユークリッド空間では $ \rho = \frac{1}{2c^2-1} $、ハミング空間では $ \rho = \frac{1}{2c-1} $ となる。
• この方式は漸近的に最適であり、近似近傍問題の理論的下界と一致する。
• 古典的 LSH とは異なり、すべての $ c > 1 $ に対して、既存の最良の LSH 構造 [IM98, AI06] よりも優れた性能を示し、指数 $ \rho $ の厳密な改善を達成する。
• 疑似ランダム部分集合への分解により、ハッシュ関数が近傍関係を効果的かつ効率的に保持することが保証される。
• このフレームワークはユークリッド空間およびハミング空間の両方へ一般化可能であり、最適なデータ依存ハッシュ化の統一的アプローチを提供する。
• この結果により、[AINR14] が提起した理論的アプローチが完成し、概念実証から完全に最適で実用的な手法へと発展した。