[论文解读] MinoanER: Schema-Agnostic, Non-Iterative, Massively Parallel Resolution of Web Entities

Vasilis Efthymiou, George Papadakis+2 more|arXiv (Cornell University)|May 15, 2019

Data Quality and Management被引用 4

一句话总结

MinoanER 是一种面向 Web of Data 的、与模式无关的、非迭代的、大规模并行实体消歧框架，通过基于标记的相似性与通过析取式阻塞图的邻居证据，解决高度异构的实体。它在高多样性知识库上优于最先进工具，通过在可扩展的非迭代匹配过程中有效结合内容、名称和邻居相似性，采用四种稳健且配置鲁棒的规则实现。

ABSTRACT

Entity Resolution (ER) aims to identify different descriptions in various Knowledge Bases (KBs) that refer to the same entity. ER is challenged by the Variety, Volume and Veracity of entity descriptions published in the Web of Data. To address them, we propose the MinoanER framework that simultaneously fulfills full automation, support of highly heterogeneous entities, and massive parallelization of the ER process. MinoanER leverages a token-based similarity of entities to define a new metric that derives the similarity of neighboring entities from the most important relations, as they are indicated only by statistics. A composite blocking method is employed to capture different sources of matching evidence from the content, neighbors, or names of entities. The search space of candidate pairs for comparison is compactly abstracted by a novel disjunctive blocking graph and processed by a non-iterative, massively parallel matching algorithm that consists of four generic, schema-agnostic matching rules that are quite robust with respect to their internal configuration. We demonstrate that the effectiveness of MinoanER is comparable to existing ER tools over real KBs exhibiting low Variety, but it outperforms them significantly when matching KBs with high Variety.

研究动机与目标

• 解决 Web of Data 中的实体消歧（ER）挑战，其中高数据多样性、高数据量和高真实性会降低传统 ER 方法的性能。
• 通过引入与模式无关的基于标记的相似性度量，克服基于模式的相似性度量的局限性。
• 实现可扩展的非迭代 ER，避免收敛问题，并支持大规模并行处理。
• 通过整合邻居相似性证据，提升在异构知识库中几乎相似实体的消歧效果。
• 开发一种复合阻塞机制，统一多种匹配证据来源（内容、名称、邻居），且无需监督学习。

提出的方法

• 利用基于标记的相似性（基于未结构化标记的 Jaccard 相似度）计算实体描述之间的值相似性，与模式或属性名称无关。
• 基于关系的统计重要性（通过共现频率）定义一种新颖的邻居相似性度量，以识别实体之间的关键链接关系。
• 构建一个析取式阻塞图，从多个来源抽象候选匹配对：值中共享的标记、共享的名称（如 rdfs:label）以及相似的邻居。
• 应用一种加权、与模式无关的剪枝策略，移除析取图中的低权重边，从而在无需标注数据的情况下减少误报。
• 在剪枝后的图上部署一种非迭代的四规则匹配算法（R1–R4）：R1（值匹配）、R2（名称匹配）、R3（邻居匹配）、R4（综合证据），所有规则均具有线性时间复杂度。
• 使用 Apache Spark 实现整个流水线的大规模并行处理，通过在 CPU 核心之间动态分配任务，保持资源均衡。

实验结果

研究问题

• RQ1 一种与模式无关的、非迭代的 ER 框架是否能在不依赖全局模式或迭代优化的情况下，有效解决 Web of Data 中高度异构的实体？
• RQ2 当基于值的相似性较弱时，邻居相似性作为补充信号，在解决几乎相似的实体方面有多有效？
• RQ3 一种统一内容、名称和邻居相似性的复合阻塞机制，是否能无需监督地高效抽象和剪枝？
• RQ4 与迭代式 ER 框架相比，MinoanER 的非迭代设计在可扩展性和收敛性方面提升了多少？
• RQ5 MinoanER 在不同数据量和异构性水平下的性能表现如何，特别是在高多样性知识库中？

主要发现

• MinoanER 在低多样性知识库（如 Restaurant、Rexa-DBLP）上的性能与最先进工具相当，但在高多样性数据集上显著优于它们。
• 在 BBCmusic-DBpedia 中，邻居相似性使精确率提升 2.22%，召回率提升 3.19%，相较于无邻居证据的基线。
• 在 YAGO-IMDb 中，邻居相似性使精确率提升 2.97%，召回率提升 3.15%，表明其在解决几乎相似实体中的关键作用。
• MinoanER 的匹配阶段仅占总执行时间的 20–45%，表明阻塞和预处理阶段高效且可扩展。
• 在使用 12 个核心对比 1 个核心时，MinoanER 在 Rexa-DBLP 上实现了 10 倍的加速；由于 Spark 的任务调度机制，所有数据集均表现出次线性但高效的加速比。
• 对于 Rexa-DBLP，MinoanER 仅耗时 3.5 分钟，而 PARIS 需要 11 分钟；在 YAGO-IMDb 上，MinoanER 仅耗时 28 分钟，而 PARIS 需要 51 小时，SiGMa 需要 70 分钟，展现出卓越的效率。