[论文解读] End-to-End Entity Resolution for Big Data: A Survey

Vassilis Christophides, Vasilis Efthymiou+3 more|arXiv (Cornell University)|May 15, 2019

Data Quality and Management参考文献 238被引用 38

一句话总结

本论文综述大数据端到端实体解析工作流程，详细介绍阻塞、块处理、匹配和聚类，并讨论面向预算的以及增量方法，适用于模式无关、高容量和异构数据。

ABSTRACT

One of the most important tasks for improving data quality and the reliability of data analytics results is Entity Resolution (ER). ER aims to identify different descriptions that refer to the same real-world entity, and remains a challenging problem. While previous works have studied specific aspects of ER (and mostly in traditional settings), in this survey, we provide for the first time an end-to-end view of modern ER workflows, and of the novel aspects of entity indexing and matching methods in order to cope with more than one of the Big Data characteristics simultaneously. We present the basic concepts, processing steps and execution strategies that have been proposed by different communities, i.e., database, semantic Web and machine learning, in order to cope with the loose structuredness, extreme diversity, high speed and large scale of entity descriptions used by real-world applications. Finally, we provide a synthetic discussion of the existing approaches, and conclude with a detailed presentation of open research directions.

研究动机与目标

• 通过识别并链接指向同一现实世界实体的描述来促进大数据中的数据质量提升。
• 在高容量、速度和多样性的条件下，提供从 Blocking 到 Clustering 的端到端ER工作流视图。
• 批判性评估现有的阻塞、匹配和聚类方法及其在半结构化与异构数据中的适用性。
• 讨论面向预算、增量、众包和基于深度学习的ER方法，并指出开放的研究方向。

提出的方法

• 描述端到端ER工作流组件：Blocking（索引）、Block Processing、Matching 和 Clustering。
• 讨论使用文字项集合和跨块冗余的模式无关阻塞。
• 提出 Block Processing 技巧以减少冗余和多余的比较。
• 将 Matching 解释为基于相似度的决策函数，包括迭代和集合式（基于图的方法）的方法。
• 描述 Clustering 以形成对应于现实世界实体的互不相交的描述组。
• 引入具有规划与更新阶段的预算感知ER，以及增量/流式ER的考量。
• 概述大数据环境中端到端ER的系统层面和方法论方面。

实验结果

研究问题

• RQ1 什么构成能够应对 Volume、Velocity 和 Variety 的高效大数据端到端ER工作流？
• RQ2 如何以模式无关的方式设计阻塞、Block Processing 和 Matching，以应对异构描述？
• RQ3 如何使聚类将匹配结果连贯地合并，形成最终的实体组，包括集合式和迭代方法？
• RQ4 ER工作流应如何为预算感知（二成成本受限）和增量/实时场景做出调整？
• RQ5 在端到端大数据ER方面，哪些是开放的研究方向和实际系统？

主要发现

• 针对半结构化数据的阻塞方法在模式无关方法下可以实现较高的召回率，但由于冗余和多余比较，精确度往往较低。
• Block Processing 技巧通过舍弃冗余和不匹配的比较来有效提高精确度，同时保持召回率。
• Meta-blocking 提供了一个对阻塞图中的边进行加权和剪枝以减少不必要比较的框架。
• 预算感知ER 引入规划和更新阶段，在窗口内最大化匹配数量以满足成本约束。
• 增量和实时ER方法需要动态索引、与流处理兼容的匹配以及增量聚类来处理到达的数据。
• 该综述综合端到端ER工作流，并在阻塞、处理、匹配、聚类以及大数据系统设计方面突出开放方向。