[论文解读] Fault-Tolerant Entity Resolution with the Crowd

Anja Gruenheid, Besmira Nushi+3 more|arXiv (Cornell University)|Dec 2, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 38被引用 14

一句话总结

本文提出了一种基于众包数据的容错实体解析（ER）框架，引入了得票图和MinMax决策函数，以解释噪声工人输入，同时保留正负信号。通过在预算约束下优化任务选择与并行化，其ER质量至少比基于共识的方法高出20%。

ABSTRACT

In recent years, crowdsourcing is increasingly applied as a means to enhance data quality. Although the crowd generates insightful information especially for complex problems such as entity resolution (ER), the output quality of crowd workers is often noisy. That is, workers may unintentionally generate false or contradicting data even for simple tasks. The challenge that we address in this paper is how to minimize the cost for task requesters while maximizing ER result quality under the assumption of unreliable input from the crowd. For that purpose, we first establish how to deduce a consistent ER solution from noisy worker answers as part of the data interpretation problem. We then focus on the next-crowdsource problem which is to find the next task that maximizes the information gain of the ER result for the minimal additional cost. We compare our robust data interpretation strategies to alternative state-of-the-art approaches that do not incorporate the notion of fault-tolerance, i.e., the robustness to noise. In our experimental evaluation we show that our approaches yield a quality improvement of at least 20% for two real-world datasets. Furthermore, we examine task-to-worker assignment strategies as well as task parallelization techniques in terms of their cost and quality trade-offs in this paper. Based on both synthetic and crowdsourced datasets, we then draw conclusions on how to minimize cost while maintaining high quality ER results.

研究动机与目标

• 解决在实体解析（ER）中因不可靠、噪声较大的众包工人输入带来的挑战，同时最小化成本并最大化结果质量。
• 开发一种稳健的数据解释机制，能够处理冲突和错误的工人回答，而无需丢弃负反馈。
• 通过选择最优记录对进行下一轮众包，解决下一轮众包问题，以在单位成本下最大化信息增益。
• 评估任务分配与并行化策略在增量、容错ER中的成本-质量权衡。
• 证明容错机制在真实世界和合成数据集上优于基于共识的方法。

提出的方法

• 引入得票图数据结构，以编码来自众包工人的正负信号，捕捉成对关系及其置信度。
• 提出MinMax决策函数作为容错方法，以解释噪声投票，即使在高错误率下也能确保与工人信号的一致性。
• 随着新众包响应的收集，增量式地更新MinMax矩阵和得票图，实现在线、增量式ER。
• 设计下一轮众包问题的排队策略，基于预期信息增益优先选择任务，以最小化不确定性或错误。
• 采用任务内和任务间并行化技术，以提高效率，并评估成本与结果质量之间的权衡。
• 将容错解释与任务选择机制集成到增量ER框架中，以在时间上保持一致性和正确性。

实验结果

研究问题

• RQ1 如何在不丢弃负反馈的前提下，解释实体解析中嘈杂、冲突甚至恶意的众包工人响应？
• RQ2 选择下一个记录对进行众包的最优策略是什么，以在最小化成本的同时最大化信息增益？
• RQ3 不同的任务分配与并行化策略如何影响众包ER的质量与成本？
• RQ4 在真实世界ER场景中，容错数据解释机制在多大程度上优于基于共识的方法？
• RQ5 容错ER能否推广到众包之外的其他不可靠数据源？

主要发现

• 所提出的MinMax决策函数通过保留并推理正负工人信号，显著提升了ER质量，在两个真实世界数据集上比基于共识的方法至少高出20%。
• 优先考虑减少不确定性或最小化错误的下一轮众包排队策略，相比随机或启发式任务选择，能以更低的预算实现更优的结果质量。
• 任务内与任务间并行化技术提高了执行效率，且未降低结果质量，使该框架可扩展部署。
• 在合成数据和众包数据（通过Amazon Mechanical Turk获取）上的实验评估表明，容错机制在高达30%的工人错误率下依然稳健。
• 该框架具有可推广性，不仅适用于众包，还可应用于任何数据质量不确定的不可靠数据源。
• 研究表明，整合负反馈并使用容错解释至关重要——忽略矛盾会导致次优且不一致的ER结果。