[论文解读] Local Density Estimation in High Dimensions

Xian Wu, Moses Charikar+1 more|arXiv (Cornell University)|Sep 20, 2018

Advanced Graph Neural Networks参考文献 14被引用 6

一句话总结

本文提出了基于局部敏感哈希（LSH）的 LSH Count 和 Multi-Probe Count 两种估计器，用于在高维向量空间中高效且准确地计算指定角距离内的点数。通过利用多桶采样和重要性加权，与先前方法相比，该方法在 GLOVE 等词嵌入数据集上显著提升了准确率并降低了样本复杂度。

ABSTRACT

An important question that arises in the study of high dimensional vector representations learned from data is: given a set $\mathcal{D}$ of vectors and a query $q$, estimate the number of points within a specified distance threshold of $q$. We develop two estimators, LSH Count and Multi-Probe Count that use locality sensitive hashing to preprocess the data to accurately and efficiently estimate the answers to such questions via importance sampling. A key innovation is the ability to maintain a small number of hash tables via preprocessing data structures and algorithms that sample from multiple buckets in each hash table. We give bounds on the space requirements and sample complexity of our schemes, and demonstrate their effectiveness in experiments on a standard word embedding dataset.

研究动机与目标

• 解决高效估计查询点周围给定角距离内高维向量数量的挑战。
• 开发实用且理论基础扎实的高维空间密度估计方法，以应对传统方法在高维空间中遭遇的维度灾难问题。
• 相比依赖每张表仅一个桶的现有 LSH 基准估计器，降低存储与样本复杂度。
• 提升在词嵌入、推荐系统和异常检测等应用中邻域计数的准确性。
• 在保持真实世界数据集实际效率的同时，提供对空间与样本复杂度的可证明边界。

提出的方法

• LSH Count 估计器使用多个哈希表，并从每张表的多个桶中采样，以估计查询点目标角半径内的点数。
• 根据样本落入目标距离的可能性，对采样结果应用重要性加权，以降低估计的方差。
• Multi-Probe Count 估计器通过一种探测策略扩展该方法，优先探测与目标距离碰撞概率更高的桶，从而进一步提升效率。
• 两种方法均使用针对角距离设计的局部敏感哈希函数（例如，使用随机投影实现余弦相似度）。
• 理论分析提供了对空间需求与样本复杂度的边界，确保与维度无关的性能保证。
• 该方法结合了方差减少技术——每张表使用多个桶和重要性采样——以在资源受限条件下最小化估计误差。

实验结果

研究问题

• RQ1 我们能否设计一种基于 LSH 的估计器，在低存储与样本复杂度下实现高维密度估计的高精度？
• RQ2 从每张哈希表的多个桶中采样，如何影响邻域计数的方差与准确性？
• RQ3 相比从桶中均匀采样，重要性加权在多大程度上提升了估计精度？
• RQ4 LSH Count 与 Multi-Probe Count 相较于现有方法（如多探针法及 [SS17] 中的估计器），在准确率与效率方面表现如何？
• RQ5 查询特定邻域大小对估计器性能的影响如何，特别是在稀疏与密集邻域中？

主要发现

• 在 GLOVE 嵌入中，当在 60 度角距离内估计查询词的词数时，LSH Count 在实际资源约束下，相比竞争方法实现了多个数量级更高的准确率。
• Multi-Probe Count 通过引入重要性加权，优于标准多探针方法，尤其在 'cake' 和 'book' 等邻域较大的密集查询中表现更优。
• 对于极稀疏查询如 'venice'（12 个邻居），当使用至多 10 张表时，Multi-Probe Count 优于多探针方法，但超过该数量后性能增益逐渐减弱。
• 当选择合适的汉明阈值（如 2 位）时，LSH Count 在 'book' 查询上的表现优于 Multi-Probe Count，表明其对参数调优较为敏感。
• 多桶采样与重要性加权的结合显著降低了方差，使得在更少样本下也能实现高精度估计。
• 实验结果表明，两种估计器在不同查询密度下均保持强劲性能，且对高概率桶中非感兴趣元素的干扰具有鲁棒性。