[论文解读] EmbedJoin: Efficient Edit Similarity Joins via Embeddings

Haoyu Zhang, Qin Zhang|arXiv (Cornell University)|Feb 1, 2017

Data Quality and Management参考文献 25被引用 6

一句话总结

EmbedJoin+ 提出了一种新颖且可扩展的方法，通过使用 CGK-embedding 将字符串嵌入汉明空间，随后利用局部敏感哈希（LSH）进行高效过滤，实现编辑相似性连接。在长字符串和较大距离阈值（最高 20% 错误率）下，其速度相比之前的方法最高提升 22.1 倍，召回率保持在 95–99%，精确率为 100%，在大规模数据集上的时间和内存使用方面显著优于现有算法。

ABSTRACT

We study the problem of edit similarity joins, where given a set of strings and a threshold value $K$, we want to output all pairs of strings whose edit distances are at most $K$. Edit similarity join is a fundamental problem in data cleaning/integration, bioinformatics, collaborative filtering and natural language processing, and has been identified as a primitive operator for database systems. This problem has been studied extensively in the literature. However, we have observed that all the existing algorithms fall short on long strings and large distance thresholds. In this paper we propose an algorithm named EmbedJoin which scales very well with string length and distance threshold. Our algorithm is built on the recent advance of metric embeddings for edit distance, and is very different from all of the previous approaches. We demonstrate via an extensive set of experiments that EmbedJoin significantly outperforms the previous best algorithms on long strings and large distance thresholds.

研究动机与目标

• 解决现有编辑相似性连接算法在长字符串和大距离阈值（如字符串长度的 20%）下的可扩展性限制。
• 开发一种在传统算法失效或不可行时仍能保持高性能和低内存使用的算法。
• 利用编辑距离度量嵌入的最新进展，在汉明空间中通过 LSH 实现高效过滤。
• 在大规模真实世界数据集上，实现相比现有算法显著的速度提升，同时保持高召回率和精确率。

提出的方法

• 使用 CGK-embedding 将编辑距离空间中的所有输入字符串嵌入到更高维的汉明空间，该方法以有界失真保留编辑距离关系。
• 在汉明空间中应用局部敏感哈希（LSH），将汉明距离较小的候选对分组，从而减少需要进行昂贵的精确编辑距离计算的配对数量。
• 采用随机化过滤策略，仅保留哈希签名匹配足够多的配对进行验证，从而最小化误报。
• 将 EmbedJoin+ 的参数固定为 r=7, z=16, Δ=50，并根据阈值 x% 的字符串长度动态设置 m=15−⌊log₂x⌋。
• 对候选对执行后验证步骤，以确保 100% 的精确率，仅因嵌入近似导致少量漏报。
• 优化算法，使其在字符串长度 N 和字符串数量 n 增加时仍能平滑扩展，尤其适用于高达 20% 的阈值。

实验结果

研究问题

• RQ1 将编辑距离嵌入汉明空间的度量嵌入方法是否能实现在长字符串和大距离阈值下的可扩展相似性连接？
• RQ2 在大规模数据集上，EmbedJoin+ 在运行时间、内存使用和准确性方面与现有算法相比表现如何？
• RQ3 在编辑相似性连接中使用 CGK-embedding 和 LSH 时，准确率与效率之间的权衡如何？
• RQ4 当字符串长度和输入字符串数量超过先前方法极限时，该算法的可扩展性如何？
• RQ5 提高阈值 K 会提升还是降低 EmbedJoin+ 的准确性，原因是什么？

主要发现

• 与最佳现有算法相比，EmbedJoin+ 在 UNIREF（N=4×10⁵）上实现最高 9.2 倍加速，在 TREC（N=2×10⁵）上实现 11.5 倍加速，在 GEN50kS-aligned（N=5×10⁴）上实现 22.1 倍加速，在 GEN50kS（N=5×10⁴）上实现 4.8 倍加速。
• 在长达 20,000 个字符的字符串和最高 20% 的阈值下，EmbedJoin+ 可平滑扩展，并在 24 小时内完成，而竞争算法因时间和内存限制而失败。
• EmbedJoin+ 在所有实验中均保持 95–99% 的召回率和 100% 的精确率，且随着阈值 K 的增加，准确率进一步提升，这是由于候选覆盖范围更高。
• 通过设置较高的 T 次哈希签名匹配阈值，显著减少了误报，从而大幅缩短验证时间，尽管嵌入和哈希的开销有所增加。
• 在 GEN320kS 和 GEN80kS 上，当 K 较大时，EmbedJoin+ 优于 EmbedJoin，这是由于更高子串覆盖范围带来的误报减少。
• EmbedJoin+ 是唯一在所有测试数据集上于 20% 阈值下仍能生成结果的算法，证明其在真实工作负载中具有最终可扩展性。