[论文解读] Cosine Similarity Search with Multi Index Hashing.

Sepehr Eghbali, Ladan Tahvildari|arXiv (Cornell University)|Sep 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 42被引用 4

一句话总结

本文提出了一种多索引哈希方法，通过利用汉明距离与余弦相似度之间的数学关系，在大规模二值编码数据集中实现了快速、精确的余弦相似度搜索。通过推导出需探测的哈希表桶序列，该方法在保持精确检索K个最相似项的同时，相较于穷举搜索和LSH等近似方法实现了数量级的速度提升。

ABSTRACT

Due to rapid development of the Internet, recent years have witnessed an explosion in the rate of data generation. Dealing with data at current scales brings up unprecedented challenges. From the algorithmic view point, executing existing linear algorithms in information retrieval and machine learning on such tremendous amounts of data incur intolerable computational and storage costs. To address this issue, there is a growing interest to map data points in large-scale datasets to binary codes. This can significantly reduce the storage complexity of large-scale datasets. However, one of the most compelling reasons for using binary codes or any discrete representation is that they can be used as direct indices into a hash table. Incorporating hash table offers fast query execution; one can look up the nearby buckets in a hash table populated with binary codes to retrieve similar items. Nonetheless, if binary codes are compared in terms of the cosine similarity rather than the Hamming distance, there is no fast exact sequential procedure to find the $K$ closest items to the query other than the exhaustive search. Given a large dataset of binary codes and a binary query, the problem that we address is to efficiently find $K$ closest codes in the dataset that yield the largest cosine similarities to the query. To handle this issue, we first elaborate on the relation between the Hamming distance and the cosine similarity. This allows finding the sequence of buckets to check in the hash table. Having this sequence, we propose a multi-index hashing approach that can increase the search speed up to orders of magnitude in comparison to the exhaustive search and even approximation methods such as LSH. We empirically evaluate the performance of the proposed algorithm on real world datasets.

研究动机与目标

• 解决在以二值编码表示的大规模数据集中，使用余弦相似度高效查找与查询最相似的K项的挑战。
• 克服余弦相似度无法通过标准哈希表查找高效计算的局限性，而汉明距离则可以。
• 开发一种方法，仅使用二值编码实现快速、精确的余弦相似度下K近邻检索。
• 降低大规模信息检索和机器学习系统中的计算成本和存储复杂度。
• 在保持精确性的同时，相较于穷举搜索和现有近似方法（如LSH）实现显著的速度提升。

提出的方法

• 建立汉明距离与余弦相似度之间的理论关系，以指导哈希表中桶的高效遍历。
• 设计一种多索引哈希结构，将二值编码映射到多个哈希表中，以提升搜索覆盖范围和效率。
• 基于余弦相似度-汉明距离对偶性，推导出需探测的哈希表桶序列，实现在无需穷举比较情况下的快速查找。
• 利用推导出的桶遍历顺序，系统性地搜索与查询在余弦相似度下最接近的K个二值编码。
• 利用二值编码及其几何特性的结构，避免在相似度搜索过程中进行全数据集扫描。
• 实现一个查询处理流水线，利用预计算的桶序列以最小计算量检索候选项。

实验结果

研究问题

• RQ1 能否利用汉明距离与余弦相似度之间的关系，设计出一种针对二值编码的快速、精确搜索方法？
• RQ2 是否可能仅通过哈希表查找实现余弦相似度下的精确K近邻检索，而无需穷举搜索？
• RQ3 所提出的多索引哈希方法在速度和准确性上相较于穷举搜索和基于LSH的方法表现如何？
• RQ4 所提出的方法能否在保持精确性的同时，高效扩展至真实世界的大规模数据集？
• RQ5 为最大化检索速度和准确性，应探测哈希表桶的最优序列是什么？

主要发现

• 所提出的方法在大规模二值编码数据集的余弦相似度搜索中，相较于穷举搜索实现了数量级的速度提升。
• 该方法实现了余弦相似度下K个最相似项的精确检索，而LSH等近似方法则无法做到。
• 通过利用汉明距离与余弦相似度之间的对偶性，该方法显著减少了每次查询所需的哈希表探测次数。
• 在真实世界数据集上的实证评估表明，该方法在查询速度上优于穷举搜索和LSH。
• 多索引哈希结构通过引入多个独立的哈希表，提高了检索到高相似度项的可能性，从而提升了搜索效率。
• 该方法在大幅降低计算成本的同时保持了高检索准确性，适用于大规模应用场景。