[论文解读] Error Rate Bounds and Iterative Weighted Majority Voting for Crowdsourcing

Hongwei Li, Bin Yu|arXiv (Cornell University)|Nov 15, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用 61

一句话总结

本文提出了一种用于众包的迭代加权多数投票（IWMV）方法，在Dawid-Skene模型下优化有限样本误差率界。通过迭代地优化工作者权重以逼近最优后验概率（MAP）规则，IWMV在计算成本比现有方法低至100倍的情况下实现了最先进水平的准确性，展示了在真实和模拟数据上的强大理论与实证性能。

ABSTRACT

Crowdsourcing has become an effective and popular tool for human-powered computation to label large datasets. Since the workers can be unreliable, it is common in crowdsourcing to assign multiple workers to one task, and to aggregate the labels in order to obtain results of high quality. In this paper, we provide finite-sample exponential bounds on the error rate (in probability and in expectation) of general aggregation rules under the Dawid-Skene crowdsourcing model. The bounds are derived for multi-class labeling, and can be used to analyze many aggregation methods, including majority voting, weighted majority voting and the oracle Maximum A Posteriori (MAP) rule. We show that the oracle MAP rule approximately optimizes our upper bound on the mean error rate of weighted majority voting in certain setting. We propose an iterative weighted majority voting (IWMV) method that optimizes the error rate bound and approximates the oracle MAP rule. Its one step version has a provable theoretical guarantee on the error rate. The IWMV method is intuitive and computationally simple. Experimental results on simulated and real data show that IWMV performs at least on par with the state-of-the-art methods, and it has a much lower computational cost (around one hundred times faster) than the state-of-the-art methods.

研究动机与目标

• 在Dawid-Skene模型下，为多类别众包中的通用聚合规则推导有限样本误差率界（以概率和期望形式表示）。
• 证明在同质Dawid-Skene模型下最小化平均误差率界，可得到接近最优后验概率（MAP）估计器的规则。
• 提出一种迭代的、数据驱动的加权多数投票方法（IWMV），以理论误差率保证逼近最优MAP规则。
• 证明IWMV在性能上可与或优于最先进方法（如EM-MAP和LPI）相媲美，同时显著提升运行速度。
• 提供一种实用框架，利用从数据中可测量的量，计算任意可分解聚合规则的误差率界。

提出的方法

• 在Dawid-Skene模型下，为多类别标注中的通用聚合规则推导有限样本的指数误差率界（以概率和期望形式表示），适用于多类别标注任务。
• 识别出在同质Dawid-Skene模型下最小化平均误差率界，可导出逼近最优MAP规则的聚合规则。
• 提出一种迭代加权多数投票（IWMV）算法，通过在每次迭代中更新工作者权重以最小化误差率界。
• 为IWMV的一步版本建立理论保证，证明其在误差率方面优于标准多数投票。
• 以EM算法作为基线进行比较，而IWMV通过直接优化误差界避免了复杂的迭代优化过程。
• 采用两阶段方法：首先从数据中计算关键统计量（t₁, t₂, c, σ²），然后应用误差率界和IWMV以估计性能和标签。

实验结果

研究问题

• RQ1 能否在Dawid-Skene模型下，为多类别众包中的通用聚合规则推导出有限样本误差率界？
• RQ2 在同质Dawid-Skene模型下最小化平均误差率界，是否能导出接近最优MAP估计器的规则？
• RQ3 能否设计一种迭代的、数据驱动的加权多数投票方法，以理论误差率保证逼近最优MAP规则？
• RQ4 IWMV在真实世界和模拟环境下的性能与计算成本，与最先进方法（如EM-MAP和LPI）相比如何？
• RQ5 理论误差率界在多大程度上能反映在不同工作者可靠性与任务分配配置下实际误差率的变化趋势？

主要发现

• 本文推导的误差率界能准确反映最优MAP规则实际误差率随关键系统参数（如工作者数量、工作者可靠性）变化的趋势。
• IWMV的一步版本具有可证明的理论误差率保证，其性能优于标准多数投票。
• 在真实数据集（包括Duchenne和Web搜索数据集）上，IWMV的性能与或优于最先进方法EM-MAP和LPI。
• 在Duchenne数据集上，IWMV的误差率比EM-MAP和多数投票至少降低4%，且运行速度比EM-MAP快约100倍。
• 与基于EM的方法相比，IWMV对模型误设更具鲁棒性，在不同假设下均能保持稳定性能。
• IWMV的计算成本约为EM-MAP的1/100，使其在大规模众包应用中具有极高的效率。