[论文解读] A Theoretical Analysis of First Heuristics of Crowdsourced Entity Resolution

Arya Mazumdar, Barna Saha|arXiv (Cornell University)|Feb 3, 2017

Data Quality and Management被引用 7

一句话总结

本文首次对众包实体消歧中的启发式算法进行了理论分析，聚焦于利用传递推理以最小化人工查询的边排序与节点排序策略。研究建立了信息论下界，并证明在现实的相似度分布下，边排序可实现近似最优性能，而节点排序则存在对数级的额外开销，从而解释了实际中的经验观察结果。

ABSTRACT

Entity resolution (ER) is the task of identifying all records in a database that refer to the same underlying entity, and are therefore duplicates of each other. Due to inherent ambiguity of data representation and poor data quality, ER is a challenging task for any automated process. As a remedy, human-powered ER via crowdsourcing has become popular in recent years. Using crowd to answer queries is costly and time consuming. Furthermore, crowd-answers can often be faulty. Therefore, crowd-based ER methods aim to minimize human participation without sacrificing the quality and use a computer generated similarity matrix actively. While, some of these methods perform well in practice, no theoretical analysis exists for them, and further their worst case performances do not reflect the experimental findings. This creates a disparity in the understanding of the popular heuristics for this problem. In this paper, we make the first attempt to close this gap. We provide a thorough analysis of the prominent heuristic algorithms for crowd-based ER. We justify experimental observations with our analysis and information theoretic lower bounds.

研究动机与目标

• 弥合众包实体消歧中启发式算法的实证成功与理论理解之间的差距。
• 分析实践中用于最小化人工查询的主流启发式策略——边排序与节点排序的性能。
• 为实验观察结果提供理论依据，特别是解释为何在真实数据集中边排序优于节点排序。
• 推导出实现精确实体消歧所需查询次数的信息论下界。
• 解释现有算法的最坏情况理论界限与实际性能之间的差异。

提出的方法

• 作者将实体消歧建模为带有噪声相似度分数的聚类问题，并采用概率框架分析查询效率。
• 定义了两种相似度分布：Dist-1（带噪声的均匀分布）和 Dist-2（有界均匀分布），以反映现实世界中的数据模式。
• 分析中引入函数 $ L_{g,r}(t) $，用于量化在 $ t $ 次查询后仍保持未分类状态的配对概率，从而实现对算法效率的比较。
• 证明在 Dist-2 下，边排序可实现与最优算法相差 $ O(\log n) $ 的性能，而节点排序则额外承担 $ \log(n/k) $ 因子。
• 通过在合成数据集和真实数据集（如 Cora）上的模拟实验验证理论界限，比较查询次数与召回率。

实验结果

研究问题

• RQ1 为何如边排序等启发式算法在实际中的表现显著优于其最坏情况理论界限所预测的结果？
• RQ2 在最小化众包实体消歧查询次数方面，边排序与节点排序策略之间的理论性能差距为何？
• RQ3 不同的相似度分布（Dist-1 与 Dist-2）如何影响启发式实体消歧算法的查询效率？
• RQ4 能否在实体消歧背景下推导出信息论下界，并由实际启发式算法实现匹配？
• RQ5 传递推理在多大程度上减少了众包实体消歧中所需的查询次数？

主要发现

• 在合成数据集上，边排序始终比节点排序需要更少的查询次数，其差距约为 $ \log(n/k) $，与理论预测一致。
• 对于 Dist-2（有界均匀相似度），边排序实现了近乎最优的性能，其查询次数与信息论下界相差一个常数因子。
• 在 Cora 数据集上，两种方法均在 4,000 次查询内实现超过 0.996 的召回率，证实了其在实际中的高效率。
• 在相同 $ \epsilon $ 条件下，Dist-2 的查询次数显著低于 Dist-1，验证了相似度分布影响的理论分析。
• 理论分析解释了为何尽管最坏情况边界更差，边排序在真实场景中仍优于节点排序，原因在于实际中存在更有利的相似度分布。