[论文解读] Truth Discovery Algorithms: An Experimental Evaluation

Dalia Attia Waguih, Laure Berti‐Équille|arXiv (Cornell University)|Sep 23, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 14被引用 50

一句话总结

本文通过一种新型合成数据生成器和参考实现，对12种最先进的真相发现算法进行了全面的实验评估。该研究在受控场景下系统比较了各类方法在可扩展性、收敛性、参数敏感性及性能方面的表现，发现尽管其他方法在精度上略有提升，MAJORITYVOTING 依然是最高效的算法；而 LTM 和 3-ESTIMATES 因随机化和归一化处理导致结果不稳定。

ABSTRACT

A fundamental problem in data fusion is to determine the veracity of multi-source data in order to resolve conflicts. While previous work in truth discovery has proved to be useful in practice for specific settings, sources' behavior or data set characteristics, there has been limited systematic comparison of the competing methods in terms of efficiency, usability, and repeatability. We remedy this deficit by providing a comprehensive review of 12 state-of-the art algorithms for truth discovery. We provide reference implementations and an in-depth evaluation of the methods based on extensive experiments on synthetic and real-world data. We analyze aspects of the problem that have not been explicitly studied before, such as the impact of initialization and parameter setting, convergence, and scalability. We provide an experimental framework for extensively comparing the methods in a wide range of truth discovery scenarios where source coverage, numbers and distributions of conflicts, and true positive claims can be controlled and used to evaluate the quality and performance of the algorithms. Finally, we report comprehensive findings obtained from the experiments and provide new insights for future research.

研究动机与目标

• 在受控条件下，对12种真相发现算法进行统一且公平的比较。
• 开发一个可复现的实验框架，配备合成数据生成器，以实现对完整真实结果的完全控制。
• 评估算法属性，如收敛性、可扩展性、参数敏感性及可重复性。
• 在多种场景下评估性能，包括不同冲突水平和源可靠性下的乐观与悲观设置。
• 为未来基准测试和算法开发提供参考实现。

提出的方法

• 开发了一种合成数据集生成器，用于生成具备完整真实结果的场景，可控制源覆盖度、冲突分布及真实正向声明率。
• 采用统一的符号表示和实验设置，实现了全部12种真相发现算法，以确保公平比较。
• 在合成数据集和真实数据集（Book、Weather）上进行了大量实验，涵盖不同数量的源和数据项。
• 评估了包括精确度、运行时间、收敛行为及多次运行下的结果可重复性在内的各项指标。
• 利用真实数据集中的黄金标准验证合成数据结果，并评估其代表性。
• 分析了初始化、参数调优及归一化对算法稳定性与性能的影响。

实验结果

研究问题

• RQ1 在具有已知真实结果的广泛受控合成场景下，真相发现算法的表现如何？
• RQ2 参数设置、初始化及随机化对算法稳定性与可重复性有何影响？
• RQ3 随着源数量的增加，算法的可扩展性如何？在何种情况下因内存或计算限制而失效？
• RQ4 在具有部分黄金标准的真实数据上，算法在精确度与效率方面如何比较？
• RQ5 具有受控真实结果的合成数据集在多大程度上能准确反映真实世界的表现？

主要发现

• MAJORITYVOTING 在效率方面优于所有其他算法，分别比 TRUTHFINDER 和 ACCU 快 9 至 120 倍，仅在精度上存在微小损失。
• 没有一种算法在所有场景下始终优于其他算法；性能显著受冲突密度和源可靠性等数据特征的影响。
• 当源数量超过 5,000 时，LCA 和 MLE 在 DEPEN、ACCU 和 ACCUSIM 模型中因内存和计算限制而变得不可行。
• LTM 和 3-ESTIMATES 因随机化和归一化处理导致结果高度不稳定，需进行多次运行以获得可靠的指标平均值。
• 在冲突较少且源不可靠的悲观场景下，所有方法的性能仅略好于随机猜测，平均精确度在 0.6134 至 0.7072 之间。
• Weather 数据集的黄金标准（原始大小的 74.4%）对应于真实正向声明率为 35% 的合成场景，验证了合成框架的代表性。