[论文解读] GB-KMV: An Augmented KMV Sketch for Approximate Containment Similarity Search

Yang Yang, Ying Zhang+2 more|arXiv (Cornell University)|Sep 3, 2018

Data Quality and Management参考文献 33被引用 3

一句话总结

本文提出 GB-KMV，一种用于近似包含相似性搜索的数据相关增强 KMV 抽样，通过一种新颖的抽样技术将包含相似性转化为集合交集估计。与最先进的基于 LSH 的方法相比，GB-KMV 在空间-精度和时间-精度权衡方面表现更优，在真实数据集上的实验表明，其在相似 F-1 精度下实现了超过 100 倍的加速。

ABSTRACT

In this paper, we study the problem of approximate containment similarity search. Given two records Q and X, the containment similarity between Q and X with respect to Q is |Q intersect X|/ |Q|. Given a query record Q and a set of records S, the containment similarity search finds a set of records from S whose containment similarity regarding Q are not less than the given threshold. This problem has many important applications in commercial and scientific fields such as record matching and domain search. Existing solution relies on the asymmetric LSH method by transforming the containment similarity to well-studied Jaccard similarity. In this paper, we use a different framework by transforming the containment similarity to set intersection. We propose a novel augmented KMV sketch technique, namely GB-KMV, which is data-dependent and can achieve a good trade-off between the sketch size and the accuracy. We provide a set of theoretical analysis to underpin the proposed augmented KMV sketch technique, and show that it outperforms the state-of-the-art technique LSH-E in terms of estimation accuracy under practical assumption. Our comprehensive experiments on real-life datasets verify that GB-KMV is superior to LSH-E in terms of the space-accuracy trade-off, time-accuracy trade-off, and the sketch construction time. For instance, with similar estimation accuracy (F-1 score), GB-KMV is over 100 times faster than LSH-E on some real-life dataset.

研究动机与目标

• 为解决现有基于 LSH 的近似包含相似性搜索方法的局限性，这些方法对数据分布偏斜敏感，且依赖于非对称 LSH 变换。
• 开发一种本质上与数据相关的抽样技术，利用记录大小和元素频率分布以提升精度和效率。
• 提供一种理论基础坚实的方案，将包含相似性转化为集合交集估计，避免依赖 Jaccard 相似性近似。
• 与最先进的技术（如 LSH-E）相比，实现更优的抽样大小、估计精度和构建时间之间的权衡。

提出的方法

• GB-KMV 引入一种增强型 KMV 抽样，基于记录大小和元素频率的与数据相关的阈值，以改进基数估计和交集估计。
• 该方法使用一种改进的 KMV 抽样，引入一个全局阈值，可自适应于数据集中集合大小和元素频率的分布。
• 通过利用增强抽样的对齐特性来估计集合交集大小，从而实现准确的包含相似性估计。
• 抽样构建过程经过优化，以减少时间开销，同时在数据分布偏斜的情况下仍保持高精度。
• 提供了理论分析以证明集中界限和估计误差，表明其性能优于传统 KMV 和基于 LSH 的方法。
• GB-KMV 避免了非对称 LSH 中使用的数据填充或固定大小变换，从而实现更准确、高效的相似性估计。

实验结果

研究问题

• RQ1 在数据分布偏斜的情况下，基于数据的抽样技术是否能在近似包含相似性搜索中超越基于 LSH 的方法？
• RQ2 如何对 KMV 抽样进行增强，以在不依赖 Jaccard 相似性变换的情况下更准确地估计集合交集和包含相似性？
• RQ3 所提出的 GB-KMV 抽样在估计精度和集中界限方面具有怎样的理论性能保证？
• RQ4 与 LSH-E 及其他最先进的方法相比，GB-KMV 在空间-精度和时间-精度权衡方面提升了多少？

主要发现

• 在真实数据集上，GB-KMV 的抽样构建和查询处理速度比 LSH-E 快超过 100 倍，同时保持了相似的 F-1 分数精度。
• 在相同精度（F-1 分数）下，GB-KMV 在多个真实世界数据集上显著优于 LSH-E，体现在时间-精度和空间-精度的权衡方面。
• 理论分析证实，GB-KMV 提供了更紧的集中界限和更小的估计误差，优于标准 KMV 和基于 LSH 的方法。
• GB-KMV 在记录大小和元素频率高度偏斜的数据集上表现出稳健性能，而 LSH-E 在此类数据上会因召回率降低和误报增加而表现下降。
• 该方法的数据相关设计使其能够适应不同的数据分布，从而在无需数据填充的情况下实现更准确的包含相似性估计。