[论文解读] A Survey of Blocking and Filtering Techniques for Entity Resolution

George Papadakis, Dimitrios Skoutas+2 more|arXiv (Cornell University)|May 15, 2019

Data Quality and Management参考文献 192被引用 14

一句话总结

本综述对可扩展实体解析中的阻断与过滤技术提供了全面且统一的回顾，提出了一套通用分类法，并强调了其在降低二次方复杂度方面的互补作用。该综述识别出混合方法、与模式无关的方法、块处理以及参数调优为关键进展，同时指出了在自动配置以及支持异构、大数据源方面仍存在的开放挑战。

ABSTRACT

Efficiency techniques are an integral part of Entity Resolution, since its infancy. In this survey, we organized the bulk of works in the field into Blocking, Filtering and hybrid techniques, facilitating their understanding and use. We also provided an in-dept coverage of each category, further classifying the corresponding works into novel sub-categories. Lately, the efficiency techniques have received more attention, due to the rise of Big Data. This includes large volumes of semi-structured data, which pose challenges not only to the scalability of efficiency techniques, but also to their core assumptions: the requirement of Blocking for schema knowledge and of Filtering for high similarity thresholds. The former led to the introduction of schema-agnostic Blocking in conjunction with Block Processing techniques, while the latter led to more relaxed criteria of similarity. Our survey covers these new fields in detail, putting in context all relevant works.

研究动机与目标

• 在统一框架下对现有阻断与过滤技术进行系统化分类和统一。
• 应对现代实体解析流水线中大数据（体量与多样性）带来的可扩展性挑战。
• 突出阻断与过滤的互补性，并探讨结合二者优势的混合方法。
• 识别开放的研究问题，包括自动参数配置、低相似度阈值支持以及半结构化数据支持。
• 倡导开发可扩展、开源的实体解析工具，整合结构化、半结构化和非结构化数据中各类效率技术。

提出的方法

• 基于核心机制与假设，提出阻断、过滤和块处理技术的正式分类法。
• 将方法分类为基于模式感知与与模式无关的阻断，以及基于相似度、基于集合和基于摘要的过滤技术。
• 引入块处理作为阻断与匹配之间的优化步骤，以最小化召回率损失为代价显著提升精确率。
• 回顾并行化策略，涵盖分布式与多核执行模型。
• 通过遗传算法与人机协同学习分析参数调优，利用标注数据优化性能。
• 提出二维性能度量空间（时间 vs. F1值），以指导方法选择与配置优化。

实验结果

研究问题

• RQ1 如何通过统一术语与框架，系统性地对阻断与过滤技术进行分类与整合？
• RQ2 在假设、性能与适用性方面，阻断与过滤之间的关键差异与协同效应是什么？
• RQ3 与模式无关的阻断与块处理技术在应对数据异构性时，如何提升可扩展性与精确率？
• RQ4 在现实世界实体解析中，采用宽松相似度标准或低阈值的过滤技术在多大程度上可实现高召回率？
• RQ5 在自动参数配置与高效实体解析工具开发方面，未来最具前景的研究方向是什么？

主要发现

• 阻断与过滤具有互补性：阻断在不依赖匹配阈值的情况下减少候选对，而过滤则利用相似度阈值剔除非匹配对。
• 块处理显著提升精确率且召回率损失可忽略，可视为阻断与匹配之间的优化层。
• 与模式无关的阻断技术（如Canopy聚类）现被认定为块处理方法，扩展了高效实体解析的适用范围。
• 通过遗传算法与基于性能的配置选择（在时间-F1值空间中使用(0,1)理想点）进行参数调优，可提升方法选择效果，但计算成本仍较高。
• 尽管已有进展，但针对阻断的自动、数据驱动、事前参数配置仍是开放问题。
• 字符串与集合相似度连接面临可扩展性挑战，需采用更宽松的匹配标准，以实现在低相似度场景下的高召回率实体解析。