[论文解读] A Survey on Truth Discovery

Yaliang Li, Jing Gao+6 more|arXiv (Cornell University)|May 11, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 72被引用 8

一句话总结

本综述全面概述了通过估计源可靠性来解决多源噪声数据中冲突的真相发现方法。通过基于一致性的迭代优化源可信度和真相值，该方法在不可靠或有偏见的源场景下，其准确性超越了多数投票法。

ABSTRACT

Thanks to information explosion, data for the objects of interest can be collected from increasingly more sources. However, for the same object, there usually exist conflicts among the collected multi-source information. To tackle this challenge, truth discovery, which integrates multi-source noisy information by estimating the reliability of each source, has emerged as a hot topic. Several truth discovery methods have been proposed for various scenarios, and they have been successfully applied in diverse application domains. In this survey, we focus on providing a comprehensive overview of truth discovery methods, and summarizing them from different aspects. We also discuss some future directions of truth discovery research. We hope that this survey will promote a better understanding of the current progress on truth discovery, and offer some guidelines on how to apply these approaches in application domains.

研究动机与目标

• 解决大数据环境中来自多个不可靠源的冲突信息问题。
• 在数据类型、源关系和真相表示等关键维度上，对现有真相发现方法进行系统性比较。
• 识别当前方法中的研究空白，并为真相发现领域的未来研究提供指导，尤其关注可扩展性和评估问题。

提出的方法

• 真相发现采用类似期望最大化算法的迭代框架，基于数据一致性联合估计源可靠性与真相值。
• 其假设是：提供一致信息频率更高的源更可靠，而真相是得到高可靠性源支持的值。
• 该方法将源可靠性建模为提供真实陈述的概率，并通过一致数据模式的反馈进行更新。
• 支持多种数据类型，包括分类、数值和排序数据，并为每类数据设计了定制化的评分函数。
• 该框架为无监督方法，仅依赖多源数据，无需真实标签进行训练。
• 其可应用于知识图谱构建、众包和社交媒体分析等多样化领域。

实验结果

研究问题

• RQ1 在无真实标签的情况下，真相发现方法如何有效估计源可靠性？
• RQ2 现有真相发现方法在假设、数据类型和可扩展性方面的关键差异与权衡是什么？
• RQ3 如何扩展真相发现以建模对象与源之间的复杂关系，从而提升准确性？
• RQ4 由于真实标签数据有限，评估真相发现性能面临的主要挑战是什么？
• RQ5 如何使真相发现方法在大规模真实世界数据中实现高效与可扩展？

主要发现

• 真相发现显著优于多数投票法，即使多数源错误，也能识别出真实值，如珠穆朗玛峰高度示例所示。
• 该方法能有效处理来自网络搜索结果、社交媒体和众包平台等多样化源的冲突数据。
• 源可靠性估计通过过滤低质量数据，显著提升了知识图谱构建和信息抽取等下游任务的性能。
• 该方法在医疗、传感器网络和MOOC自动评分等不同领域均具有适用性。
• 尽管前景广阔，但由于真实世界环境中真实标签数据有限，性能评估仍具挑战性。
• 可扩展性与对象关系建模被确定为未来研究中的关键开放挑战。