[论文解读] Density Sensitive Hashing

Yue Lin, Deng Cai+1 more|arXiv (Cornell University)|May 14, 2012

Advanced Image and Video Retrieval Techniques参考文献 35被引用 6

一句话总结

本文提出密度敏感哈希（DSH），一种新颖的哈希方法，通过利用数据几何结构而非随机投影，改进了高维空间中的近似最近邻搜索。通过使用k-me均值聚类指导投影向量选择，并最大化熵以实现比特区分，DSH在GIST1M和Flickr1M等高维设置下，相较于最先进方法实现了更优的检索精度。

ABSTRACT

Nearest neighbors search is a fundamental problem in various research fields like machine learning, data mining and pattern recognition. Recently, hashing-based approaches, e.g., Locality Sensitive Hashing (LSH), are proved to be effective for scalable high dimensional nearest neighbors search. Many hashing algorithms found their theoretic root in random projection. Since these algorithms generate the hash tables (projections) randomly, a large number of hash tables (i.e., long codewords) are required in order to achieve both high precision and recall. To address this limitation, we propose a novel hashing algorithm called {\em Density Sensitive Hashing} (DSH) in this paper. DSH can be regarded as an extension of LSH. By exploring the geometric structure of the data, DSH avoids the purely random projections selection and uses those projective functions which best agree with the distribution of the data. Extensive experimental results on real-world data sets have shown that the proposed method achieves better performance compared to the state-of-the-art hashing approaches.

研究动机与目标

• 解决基于随机投影的哈希方法（如LSH）存储和计算成本高的问题，这些方法需要大量哈希表才能实现高精度和高召回率。
• 通过融入数据的几何结构，克服LSH中纯随机投影的局限性，生成更具信息量的哈希函数。
• 开发一种在保持高效性的同时显著提升检索精度的方法，尤其适用于高维数据场景。
• 通过k-means聚类和熵最大化，平衡准确性和效率，指导投影向量的选择。
• 证明基于数据的投影选择在大规模真实世界数据集上优于随机或基于学习的替代方案。

提出的方法

• 应用k-means聚类将数据划分为k个组，利用聚类结构指导投影向量的选择。
• 对于每对相邻聚类，生成一个能最佳分离两组的投影向量，确保投影与局部数据密度对齐。
• 基于最大熵原理选择最终的投影向量集合，以最大化每比特的信息量。
• 使用线性投影函数：h_l(x) = sgn(w_l^T x + t_l)，其中w_l为学习得到的投影向量，t_l为阈值。
• 引入三个关键参数：p（k-means迭代次数）、α（控制聚类数量）和r（考虑的相邻组数量），这些参数影响性能和效率。
• 通过利用几何结构优化哈希码生成，避免完全依赖随机或复杂的基于学习的优化。

实验结果

研究问题

• RQ1 能否有效利用数据几何结构来提升高维最近邻搜索中哈希函数的质量？
• RQ2 用数据自适应投影替代LSH中的随机投影，是否能在更少哈希位数下实现更高的检索精度？
• RQ3 DSH在大规模高维数据集上的性能与最先进的随机投影和基于学习的哈希方法相比如何？
• RQ4 关键参数（p, α, r）对DSH的准确性和效率有何影响？
• RQ5 DSH是否在传统LSH因需要长码字而表现困难的高维场景中特别有效？

主要发现

• 在三个大规模数据集GIST1M、Flickr1M和SIFT1M上，DSH的平均平均精度（MAP）显著优于LSH、SIKH、KLSH、SpH和AGH。
• 在GIST1M（960维）和Flickr1M（512维）上，DSH相较于其他方法的性能优势比在SIFT1M（128维）上更为显著，表明其在高维场景中具有显著优势。
• 使用64位编码时，DSH在GIST1M上达到0.78的MAP，Flickr1M上为0.71，SIFT1M上为0.65，优于所有基线方法在所有数据集和编码长度上的表现。
• DSH的训练时间随k-means迭代次数（p）和α的增加而上升，但3次迭代和α=1.5在准确性和效率之间提供了良好平衡。
• 当r（考虑的相邻组数量）超过5时，性能下降，表明过度冗余的投影会降低有效性。
• DSH比基于学习的方法（如SpH和AGH）更快，且在测试时间上与LSH和PCAH相当，使其在训练和推理阶段均具有高效性。