[论文解读] Fast Cross-Polytope Locality-Sensitive Hashing

Christopher Kennedy, Rachel Ward|arXiv (Cornell University)|Feb 22, 2016

Advanced Image and Video Retrieval Techniques被引用 1

一句话总结

该论文提出了一种用于角度距离的快速交叉多面体局部敏感哈希（LSH）变体，通过用快速Johnson-Lindenstrauss变换结合离散伪旋转替代密集高斯矩阵，将哈希计算时间从𝒪(d²)降低至𝒪(d ln d)，同时保持最优的渐近敏感度，并实现了敏感度收敛的最优速率。该方法还通过使用低随机性Johnson-Lindenstrauss变换，将随机性降低至𝒪(ln⁹ d)比特。

ABSTRACT

We provide a variant of cross-polytope locality sensitive hashing with respect to angular distance which is provably optimal in asymptotic sensitivity and enjoys $\mathcal{O}(d \ln d )$ hash computation time. Building on a recent result (by Andoni, Indyk, Laarhoven, Razenshteyn, Schmidt, 2015), we show that optimal asymptotic sensitivity for cross-polytope LSH is retained even when the dense Gaussian matrix is replaced by a fast Johnson-Lindenstrauss transform followed by discrete pseudo-rotation, reducing the hash computation time from $\mathcal{O}(d^2)$ to $\mathcal{O}(d \ln d )$. Moreover, our scheme achieves the optimal rate of convergence for sensitivity. By incorporating a low-randomness Johnson-Lindenstrauss transform, our scheme can be modified to require only $\mathcal{O}(\ln^9(d))$ random bits

研究动机与目标

• 降低交叉多面体LSH在角度距离上的计算成本，同时保持最优的渐近敏感度。
• 通过用快速Johnson-Lindenstrauss变换和离散伪旋转替代密集高斯矩阵，实现更快的哈希计算。
• 在新方案中保持敏感度收敛的最优速率。
• 通过采用低随机性Johnson-Lindenstrauss变换，最小化随机性使用量，将随机比特数减少至𝒪(ln⁹ d)。

提出的方法

• 在交叉多面体LSH中，用快速Johnson-Lindenstrauss变换替代密集高斯矩阵，以加速投影计算。
• 对变换后的向量应用离散伪旋转，以保持交叉多面体LSH所需的结构。
• 利用近期结果（Andoni et al., 2015）证明，尽管经过变换，敏感度仍保持渐近最优。
• 使用Johnson-Lindenstrauss变换的低随机性变体，将随机比特数减少至𝒪(ln⁹ d)。
• 确保所得哈希函数保持局部敏感哈希所需的角距离特性。
• 证明新方案实现了敏感度收敛的最优速率，与理论下界一致。

实验结果

研究问题

• RQ1 能否在不牺牲渐近敏感度的前提下，将交叉多面体LSH的计算成本从𝒪(d²)降低至𝒪(d ln d)？
• RQ2 用快速Johnson-Lindenstrauss变换和离散伪旋转替代密集高斯矩阵，是否能保持交叉多面体LSH中的最优敏感度？
• RQ3 新方案中敏感度的收敛速率能否保持在最优水平？
• RQ4 在快速LSH变体中，实现最优敏感度所需的最少随机比特数是多少？

主要发现

• 所提方法将哈希计算时间从𝒪(d²)降低至𝒪(d ln d)，显著提升了高维数据的处理速度。
• 该方案保持了最优的渐近敏感度，与交叉多面体LSH的理论下界一致。
• 敏感度收敛速率达到最优，意味着随着维度增加，方法能收敛至最佳可能性能。
• 通过采用低随机性Johnson-Lindenstrauss变换，该方案将随机性使用量降低至𝒪(ln⁹ d)随机比特，显著提升了实际效率。