[論文レビュー] Approximate Nearest Neighbor Search in $\ell_p$

Huy L. Nguyên|arXiv (Cornell University)|Jun 15, 2013

Advanced Image and Video Retrieval Techniques参考文献 8被引用数 3

ひとこと要約

本稿では、1 < p < 2 における ℓₚ 空間における近似最近傍探索のための新しい局所性に敏感なハッシュ（LSH）方式を提示する。クエリ時間は O(dn^ρ)、メモリ使用量は O(dn + n^{1+ρ}) であり、ρ = O((ln c)² / c^p) を達成しており、従来の ρ ≤ 1/c の境界を改善し、理論的下界 ρ ≥ 1/c^p に近づけている。

ABSTRACT

We present a new locality sensitive hashing (LSH) algorithm for $c$-approximate nearest neighbor search in $\ell_p$ with $1

研究の動機と目的

• 1 < p < 2 における ℓₚ 近似最近傍探索における既知の上界と理論的下界との間のギャップを埋める。
• Datar ら（2004）が提示した従来の ρ ≤ 1/c の境界を改善する、シンプルで一般化可能な LSH フレームワークを開発すること。
• O’Donnell, Wu, and Zhou（2011）が確立した情報理論的下界 ρ ≥ 1/c^p に近い ρ を達成すること。
• Andoni と Indyk（2006）の ℓ₂ LSH アプローチを、1 < p < 2 における ℓₚ に一般化するために、p-安定分布と格子に基づく分割を用いる。

提案手法

• p-安定分布を用いて、d次元の ℓₚ ポイントを t次元空間に射影し、期待的に相対的距離を保存する。ここで t = Θ((c ln c)^p) である。
• 間隔 Δw = 4w である格子 Lₜ にランダムなシフトを適用し、t次元空間全体をカバーするようにシフトされた格子を作成する。ここで w = O(c ln c) である。
• ハッシュ関数を、シフトされた格子を特定する u と、射影された点が半径 w の ℓₚ 球内にあるような最も近い格子点 y のペア (u, y) として定義する。
• p-安定分布の集中不等式を活用し、次元削減の過程で距離が高確率で保存されることを保証する。
• ℓₚ 球内の体積に関する議論を用いて、近い点（‖x−y‖ₚ ≤ 1）と遠い点（‖x−y‖ₚ ≥ c）の間の衝突確率を評価する。
• close および far のペアの衝突確率をそれぞれ p₁ と p₂ とすると、ρ は比 ln(1/p₁)/ln(1/p₂) として導出される。

実験結果

リサーチクエスチョン

• RQ1 1 < p < 2 における ℓₚ 近似最近傍探索の ρ パrameter を、従来の上界 ρ ≤ 1/c を超えて改善できるか？
• RQ2 Andoni と Indyk（2006）の ℓ₂ LSH フレームワークを、1 < p < 2 における ℓₚ にどの程度一般化できるか？
• RQ3 シンプルで解析可能な LSH の構成により、情報理論的下界 ρ ≥ 1/c^p に近い ρ を達成することは可能か？
• RQ4 高次元 ℓₚ 空間における格子分割下での ℓₚ 球の体積推定値およびそれらの交差は、衝突確率にどのように影響するか？

主な発見

• 提案された LSH は、1 < p < 2 における ℓₚ に対して ρ = O((ln c)² / c^p) を達成しており、従来の上界 ρ ≤ 1/c よりも改善されている。
• ρ = O((ln c)² / c^p) の境界は、理論的下界 ρ ≥ 1/c^p に漸近的に近づいており、既知の上界と下界の間のギャップを縮小している。
• 構成は p-安定射影に続いて格子に基づく分割を用いており、空間全体を高確率でカバーするため、格子数 Uₜ = Δ^t t^{t/p + 1} ln(Δt/δ) が保証される。
• 解析により、高確率で、近い点（‖x−y‖ₚ ≤ 1）間の射影距離が要因 O(ε⁻¹) の範囲に保たれ、遠い点（‖x−y‖ₚ ≥ c）同士は高確率で分離されることを示している。
• close ペアの衝突確率は、ℓₚ 球の体積比較により評価され、γ が小さいとき、ln(1/p₁) ≤ O((2+γ) t / (p (2εw)^p)) が得られる。
• distant ペアの衝突確率は、ℓₚ ノルムの強凸性と滑らかさを用いて評価され、ln(1/p₂) ≥ (1−o(1)) (p−1) t c² / (8w²) が得られ、これが ρ の比を支配する。