[论文解读] LSH Ensemble: Internet-Scale Domain Search

Erkang Zhu, Fatemeh Nargesian+2 more|arXiv (Cornell University)|Mar 24, 2016

Advanced Image and Video Retrieval Techniques参考文献 27被引用 10

一句话总结

LSH Ensemble 是一种可扩展的、高精度的索引结构，用于在互联网规模的领域搜索中使用集合包含相似度（Jaccard 集合包含得分）进行搜索，通过最小哈希（Minwise Hashing）和数据分区来处理领域大小分布极度偏斜的问题。它在 2.62 亿个领域上实现了亚 3 秒的查询响应时间，并且与基线 LSH 相比，速度最高提升了 15 倍，同时精度更高。

ABSTRACT

We study the problem of domain search where a domain is a set of distinct values from an unspecified universe. We use Jaccard set containment, defined as $|Q \cap X|/|Q|$, as the relevance measure of a domain $X$ to a query domain $Q$. Our choice of Jaccard set containment over Jaccard similarity makes our work particularly suitable for searching Open Data and data on the web, as Jaccard similarity is known to have poor performance over sets with large differences in their domain sizes. We demonstrate that the domains found in several real-life Open Data and web data repositories show a power-law distribution over their domain sizes. We present a new index structure, Locality Sensitive Hashing (LSH) Ensemble, that solves the domain search problem using set containment at Internet scale. Our index structure and search algorithm cope with the data volume and skew by means of data sketches (MinHash) and domain partitioning. Our index structure does not assume a prescribed set of values. We construct a cost model that describes the accuracy of LSH Ensemble with any given partitioning. This allows us to formulate the partitioning for LSH Ensemble as an optimization problem. We prove that there exists an optimal partitioning for any distribution. Furthermore, for datasets following a power-law distribution, as observed in Open Data and Web data corpora, we show that the optimal partitioning can be approximated using equi-depth, making it efficient to use in practice. We evaluate our algorithm using real data (Canadian Open Data and WDC Web Tables) containing up over 262 M domains. The experiments demonstrate that our index consistently outperforms other leading alternatives in accuracy and performance. The improvements are most dramatic for data with large skew in the domain sizes. Even at 262 M domains, our index sustains query performance with under 3 seconds response time.

研究动机与目标

• 为高度偏斜的领域大小分布的开放数据和网络数据存储库中的可扩展、高精度领域搜索挑战提供解决方案。
• 设计一种支持基于集合包含的相关性（Jaccard 集合包含）而非 Jaccard 相似度的索引结构，因为后者对小领域存在偏差。
• 实现对数亿个领域高效、并行且内存高效的索引与查询，无需假设固定词汇表或数据模式。
• 将数据分区建模为一个优化问题，以在最大化精度的同时最小化各分区中的误报。
• 在真实世界数据集（加拿大开放数据和 WDC 网页表格）上，以互联网规模评估该方法。

提出的方法

• 该方法使用最小哈希（Minwise Hashing）创建领域的紧凑草图，通过局部敏感哈希（LSH）实现高效的相似度估计。
• 提出了一种 LSH Ensemble 框架，根据大小将领域划分为多个组，提升选择性并减少误报。
• 系统采用成本模型优化分区，证明了对于任何数据分布，都存在一个最优分区。
• 对于幂律分布的数据，使用等深分区近似最优分区，该方法在实现上既高效又有效。
• 索引分布在多台机器上，查询在所有分区中并行处理，结果通过并联合并。
• 该框架通过使用平衡各组误报率的分区，动态适应数据偏斜。

实验结果

研究问题

• RQ1 能否设计一种可扩展的索引结构，以在互联网规模下支持基于集合包含的领域搜索，特别是在领域大小分布极度偏斜的情况下？
• RQ2 如何将最小哈希（Minwise Hashing）和 LSH 与数据分区结合，以提升领域搜索的精度并减少误报？
• RQ3 如何最优地划分领域，以在保持查询效率的同时最小化误报？
• RQ4 等深分区能否作为幂律分布数据下最优分区的有效近似？
• RQ5 LSH Ensemble 框架在包含超过 2.6 亿个领域的现实世界数据集上的准确率和响应时间表现如何？

主要发现

• LSH Ensemble 即使在 2.629 亿个领域的数据集上，也能保持亚 3 秒的查询响应时间，展现出强大的可扩展性。
• 与基线 MinHash LSH 相比，该方法的查询性能最高提升 15 倍，尤其在高度偏斜的数据中提升最为显著。
• 对于具有幂律分布领域大小的数据集，等深分区能紧密逼近最优分区，从而实现高效且精确的索引。
• 当分区大小标准差超过 5,556 时，LSH Ensemble 的精度依然保持稳定，表明其对中等程度分区偏差具有鲁棒性。
• 索引的扩展性与数据大小呈线性关系，且在 5 台机器上并行索引时，性能在不同分区数量下保持一致。
• 由于分区带来的选择性提升，LSH Ensemble 的查询成本随领域数量增加而缓慢上升，即使在 32 个分区下也保持较低水平。