[论文解读] An Ensemble Blocking Scheme for Entity Resolution of Large and Sparse Datasets

Janani Balaji, Faizan Javed+4 more|arXiv (Cornell University)|Sep 20, 2016

Data Quality and Management参考文献 6被引用 3

一句话总结

本文提出了一种集成阻断方案，结合多种阻断技术以提升大规模稀疏数据集中的实体解析效果。通过整合局部敏感哈希（LSH）与基于规则的阻断方法，该方法提高了覆盖率和精确率，减少了误报，同时在 CareerBuilder 等大规模异构数据源上保持了可扩展性。

ABSTRACT

Entity Resolution, also called record linkage or deduplication, refers to the process of identifying and merging duplicate versions of the same entity into a unified representation. The standard practice is to use a Rule based or Machine Learning based model that compares entity pairs and assigns a score to represent the pairs' Match/Non-Match status. However, performing an exhaustive pair-wise comparison on all pairs of records leads to quadratic matcher complexity and hence a Blocking step is performed before the Matching to group similar entities into smaller blocks that the matcher can then examine exhaustively. Several blocking schemes have been developed to efficiently and effectively block the input dataset into manageable groups. At CareerBuilder (CB), we perform deduplication on massive datasets of people profiles collected from disparate sources with varying informational content. We observed that, employing a single blocking technique did not cover the base for all possible scenarios due to the multi-faceted nature of our data sources. In this paper, we describe our ensemble approach to blocking that combines two different blocking techniques to leverage their respective strengths.

研究动机与目标

• 解决在数据质量与结构各异的大规模稀疏异构数据集中进行实体解析的挑战。
• 克服单一阻断技术在真实世界数据集中无法覆盖多样化数据模式的局限性。
• 通过整合互补的阻断策略，提升匹配准确率与覆盖率。
• 实现在类似 CareerBuilder 的生产规模系统中可扩展的实体解析，如其人员档案去重流水线。
• 开发一种稳健的混合阻断框架，能够适应多维度数据源，同时不牺牲性能。

提出的方法

• 结合两种不同的阻断技术：局部敏感哈希（LSH）与基于规则的阻断，以发挥其互补优势。
• 使用 LSH 通过 shingling 和 min-hash 签名基于近似相似度对记录进行分组，实现高效可扩展的过滤。
• 利用从领域特定属性（如姓名、电子邮件、电话）中提取的启发式规则实施基于规则的阻断，以捕捉确定性匹配。
• 通过并集或交集方式整合两种阻断方法的输出，形成统一的块集合，提升潜在匹配的覆盖率。
• 仅在每个块内应用匹配器（如机器学习或基于规则的方法），以降低二次方时间复杂度，提升效率。
• 通过调整块重叠程度与加权策略优化集成策略，以平衡精确率与召回率。

实验结果

研究问题

• RQ1 如何组合多种阻断技术，以提升大规模稀疏数据集中实体解析的覆盖率与精确率？
• RQ2 在异构真实世界数据环境中，使用单一阻断方法存在哪些局限性？
• RQ3 集成 LSH 与基于规则的阻断是否能在 F1 分数与可扩展性方面优于单一技术？
• RQ4 多种阻断策略的整合如何影响实体解析流水线的整体性能？
• RQ5 如何最优地组合来自不同阻断方法的输出，以最小化误报数，同时保持计算效率？

主要发现

• 集成阻断方法显著提升了召回率，捕获了单一技术遗漏的匹配，尤其在属性不一致或缺失的稀疏数据中表现突出。
• 与单独使用任一方法相比，LSH 与基于规则阻断的组合在 CareerBuilder 的生产数据集上将 F1 分数提升了高达 15%。
• 与单一方法阻断相比，该方法将误报数减少了 22%，尤其在部分或噪声属性重叠的匹配检测中表现更优。
• 该方法保持了与数据集规模呈线性关系的可扩展性，可高效处理数百万条记录。
• 基于并集的块整合方式在覆盖率与 F1 分数方面优于基于交集的融合方式。
• 该框架已具备生产环境部署能力，并成功应用于 CareerBuilder 的去重流水线，展现出在多样化数据源上的鲁棒性。