[论文解读] Approximate Nearest Neighbor Search in $\ell_p$

Huy L. Nguyên|arXiv (Cornell University)|Jun 15, 2013

Advanced Image and Video Retrieval Techniques参考文献 8被引用 3

一句话总结

本文提出了一种新的局部敏感哈希（LSH）方案，用于在 ℓₚ 空间中进行近似最近邻搜索，其中 1 < p < 2，实现了查询时间 O(dn^ρ) 和空间复杂度 O(dn + n^{1+ρ})，其中 ρ = O((ln c)² / c^p)，优于先前的 ρ ≤ 1/c 边界，并接近理论下界 ρ ≥ 1/c^p。

ABSTRACT

We present a new locality sensitive hashing (LSH) algorithm for $c$-approximate nearest neighbor search in $\ell_p$ with $1

研究动机与目标

• 填补已知上界与 ℓₚ 近似最近邻搜索中 ρ 的理论下界之间在 1 < p < 2 条件下的差距。
• 开发一种简单且可推广的 LSH 框架，超越 Datar 等人（2004）提出的 ρ ≤ 1/c 上限。
• 实现 ρ 接近 O’Donnell、Wu 和 Zhou（2011）建立的信息论下界 ρ ≥ 1/c^p。
• 通过 p 稳定分布和基于格的划分，将 Andoni 和 Indyk（2006）针对 ℓ₂ 的 LSH 方法推广至 ℓₚ（1 < p < 2）。

提出的方法

• 使用 p 稳定分布将 d 维 ℓₚ 点投影到 t 维空间，其中 t = Θ((c ln c)^p)，以在期望下保持相对距离。
• 对间距为 Δw = 4w 的格 Lₜ 施加随机平移，生成覆盖 t 维空间的平移格。
• 将哈希函数定义为二元组 (u, y)，其中 u 用于标识平移格，y 是最近的格点，使得投影点位于半径为 w 的 ℓₚ 球内。
• 利用 p 稳定分布的浓度不等式，确保在降维过程中距离被以高概率保持。
• 通过 ℓₚ 球中的体积论证，界定接近点（‖x−y‖ₚ ≤ 1）和远距离点（‖x−y‖ₚ ≥ c）的碰撞概率。
• 通过比值 ln(1/p₁)/ln(1/p₂) 推导出 ρ，其中 p₁ 和 p₂ 分别为接近对和远距离对的碰撞概率。

实验结果

研究问题

• RQ1 在 1 < p < 2 条件下，ℓₚ 近似最近邻搜索中的 ρ 参数能否超越先前的上界 ρ ≤ 1/c？
• RQ2 Andoni 和 Indyk（2006）提出的 ℓ₂ LSH 框架在多大程度上可推广至 ℓₚ（1 < p < 2）？
• RQ3 是否可能通过一种简单且可分析的 LSH 构造，实现 ρ 接近信息论下界 ρ ≥ 1/c^p？
• RQ4 ℓₚ 球及其在格划分下的交集体积估计，如何影响高维 ℓₚ 空间中碰撞概率？

主要发现

• 所提出的 LSH 在 ℓₚ（1 < p < 2）下实现了 ρ = O((ln c)² / c^p)，优于先前的 ρ ≤ 1/c 上限。
• 边界 ρ = O((ln c)² / c^p) 渐近接近理论下界 ρ ≥ 1/c^p，显著缩小了已知上界与下界之间的差距。
• 该构造采用 p 稳定投影后接基于格的划分，格的数量 Uₜ = Δ^t t^{t/p + 1} ln(Δt/δ) 确保以高概率覆盖整个空间。
• 分析表明，以高概率，接近点（‖x−y‖ₚ ≤ 1）的投影距离被保持在 O(ε⁻¹) 因子内，而远距离对（‖x−y‖ₚ ≥ c）则被高概率分离。
• 通过 ℓₚ 球的体积比较，对接近对的碰撞概率进行界定，得到 ln(1/p₁) ≤ O((2+γ) t / (p (2εw)^p))（γ 较小时）。
• 通过利用 ℓₚ 范数的一致凸性和光滑性，对远距离对的碰撞概率进行界定，得出 ln(1/p₂) ≥ (1−o(1)) (p−1) t c² / (8w²)，该结果主导了 ρ 的比值。