[论文解读] How to reduce the search space of Entity Resolution: with Blocking or Nearest Neighbor search?

George Papadakis, Marco Fisichella+4 more|arXiv (Cornell University)|Feb 25, 2022

Data Quality and Management被引用 4

一句话总结

本文首次系统比较了实体消歧中阻断（blocking）与最近邻（NN）过滤技术，评估了10个真实世界数据集上的5种阻断工作流和8种NN方法。研究发现，kNN-Join——结合基数阈值与语法表示——在效果与效率之间实现了最佳平衡，而FAISS由于采用近似索引，在可扩展性方面表现最优。

ABSTRACT

Entity Resolution suffers from quadratic time complexity. To increase its time efficiency, three kinds of filtering techniques are typically used for restricting its search space: (i) blocking workflows, which group together entity profiles with identical or similar signatures, (ii) string similarity join algorithms, which quickly detect entities more similar than a threshold, and (iii) nearest-neighbor methods, which convert every entity profile into a vector and quickly detect the closest entities according to the specified distance function. Numerous methods have been proposed for each type, but the literature lacks a comparative analysis of their relative performance. As we show in this work, this is a non-trivial task, due to the significant impact of configuration parameters on the performance of each filtering technique. We perform the first systematic experimental study that investigates the relative performance of the main methods per type over 10 real-world datasets. For each method, we consider a plethora of parameter configurations, optimizing it with respect to recall and precision. For each dataset, we consider both schema-agnostic and schema-based settings. The experimental results provide novel insights into the effectiveness and time efficiency of the considered techniques, demonstrating the superiority of blocking workflows and string similarity joins.

研究动机与目标

• 为解决实体消歧中阻断与最近邻过滤技术之间缺乏系统性比较的问题。
• 在无模式依赖（schema-agnostic）与有模式依赖（schema-based）两种设置下，评估主要过滤技术在多样化真实世界数据集上的相对性能。
• 通过全面调参，识别每种技术的最优配置，以满足召回率与精确率目标。
• 评估表示类型（语法 vs. 语义）、阈值类型（相似度 vs. 基数）以及数据特征对过滤性能的影响。
• 为实践者提供可操作的见解，以针对ER工作负载选择最有效且可扩展的过滤方法。

提出的方法

• 本研究在10个真实世界ER数据集上评估了5种阻断工作流（如Standard Blocking、Pos-Blocking Workflow）和8种最近邻方法（如kNN-Join、LSH变体、FAISS、SCANN）。
• 每种方法均在数千种参数配置下进行调优，以满足预设的召回率与精确率目标，确保基于各数据集最优性能的公平比较。
• 评估两种设置：无模式依赖（将整个实体档案视为长文本）与有模式依赖（聚焦于最具有信息量的属性），以评估对模式异质性的鲁棒性。
• 过滤性能通过召回率、精确率和运行时间进行衡量，并在最大达200万个实体的合成数据集上测试可扩展性。
• 对比基于基数的阈值（如kNN-Join）与基于相似度的阈值（如ε-join、LSH），以评估候选集大小与效率之间的权衡。
• 对比语法表示（如TF-IDF、n-gram）与密集语义嵌入（如sentence-BERT），以评估其在过滤中的适用性。

实验结果

研究问题

• RQ1 在多样化ER数据集中，阻断与最近邻哪种过滤技术能实现最高的召回率与精确率？
• RQ2 基于基数的阈值与基于相似度的阈值在候选集大小与过滤效率方面如何比较？
• RQ3 在真实世界ER工作负载中，使用语法表示还是语义表示能带来更好的过滤性能？
• RQ4 无模式依赖与有模式依赖设置如何影响过滤技术的有效性与鲁棒性？
• RQ5 在大规模数据集上，哪种过滤方法在效果、效率与可扩展性之间提供了最佳权衡？

主要发现

• kNN-Join（采用基数阈值与语法表示）在召回率、精确率与效率方面实现了最佳综合平衡，其整体效果优于所有其他方法。
• FAISS是可扩展性最强的过滤技术，当数据规模从10,000扩大到200万个实体时，运行时间仅增加约700倍，显著优于其他方法。
• 基于基数的阈值（如kNN-Join）产生的候选集远少于基于相似度的阈值（如ε-join、LSH），其规模随查询量线性增长，而非随输入规模呈二次方增长。
• 语法表示在过滤中始终优于语义嵌入，因为语义模型易受OOV（未登录词）与领域特定术语影响，导致更多误报。
• 无模式依赖设置在召回率与精确率上显著优于有模式依赖设置，尤其在默认配置下，因其能更好地处理缺失或错位的字段。
• 标准阻断工作流（SBW）的默认配置在无模式依赖设置下表现良好，但kNN-Join仍几乎在所有情况下超越它，原因在于其候选集增长呈线性，且更易配置。