[论文解读] Error Rate Bounds in Crowdsourcing Models

Hong-Wei Li, Bin Yu+1 more|arXiv (Cornell University)|Jul 10, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 15被引用 17

一句话总结

本文在Dawid-Skene众包模型下，推导了超平面二值分类规则的有限样本指数误差率上界，表明最优后验概率（MAP）规则近似最小化了平均误差率的上界。本文提出一种数据驱动的一步加权多数投票（WMV）规则，可证明地逼近最优MAP规则并实现有界误差率，通过图像和文本标注任务的仿真与真实数据验证。

ABSTRACT

Crowdsourcing is an effective tool for human-powered computation on many tasks challenging for computers. In this paper, we provide finite-sample exponential bounds on the error rate (in probability and in expectation) of hyperplane binary labeling rules under the Dawid-Skene crowdsourcing model. The bounds can be applied to analyze many common prediction methods, including the majority voting and weighted majority voting. These bound results could be useful for controlling the error rate and designing better algorithms. We show that the oracle Maximum A Posterior (MAP) rule approximately optimizes our upper bound on the mean error rate for any hyperplane binary labeling rule, and propose a simple data-driven weighted majority voting (WMV) rule (called one-step WMV) that attempts to approximate the oracle MAP and has a provable theoretical guarantee on the error rate. Moreover, we use simulated and real data to demonstrate that the data-driven EM-MAP rule is a good approximation to the oracle MAP rule, and to demonstrate that the mean error rate of the data-driven EM-MAP rule is also bounded by the mean error rate bound of the oracle MAP rule with estimated parameters plugging into the bound.

研究动机与目标

• 在Dawid-Skene众包模型下，为一般超平面二值分类规则提供有限样本误差率上界。
• 分析最优MAP规则的理论性能及其通过数据驱动方法的近似效果。
• 设计一种在Dawid-Skene模型下具有可证明误差率保证的加权多数投票规则。
• 验证EM-MAP规则是否在实践中近似最优MAP规则，且其误差率是否被理论上的上界所约束。
• 将误差率分析从多数投票扩展至更复杂的加权聚合规则。

提出的方法

• 在Dawid-Skene模型下，为超平面二值分类规则推导误差率在概率和期望意义上的指数上界。
• 表明优化平均误差率上界可导出一种与最优MAP规则高度近似的规则。
• 提出一种一步WMV规则，利用多数投票估计的工人准确率对标签进行加权，实现理论上的误差率保证。
• 采用EM算法从观测标签中估计工人混淆矩阵和标签准确率，支持数据驱动规则的构建。
• 将估计的工人参数代入最优MAP上界，构建适用于EM-MAP规则的插值上界。
• 通过对称Dawid-Skene模型下的合成仿真和真实文本蕴涵数据集的实证数据验证结果。

实验结果

研究问题

• RQ1 能否在Dawid-Skene众包模型下，为一般超平面二值分类规则推导出有限样本误差率上界？
• RQ2 最优MAP规则是否近似最小化任意超平面规则的平均误差率上界？
• RQ3 能否设计一种数据驱动的加权多数投票规则，在近似最优MAP规则的同时，可证明地约束误差率？
• RQ4 在实践中，EM-MAP规则对最优MAP规则的近似效果如何？其误差率是否被理论上的上界所约束？
• RQ5 从最优MAP规则导出的插值上界能否有效应用于真实世界的数据驱动规则（如EM-MAP）？

主要发现

• 在Dawid-Skene模型下，最优MAP规则近似最小化了任意超平面二值分类规则的平均误差率上界。
• 所提出的一步WMV规则实现了可证明的理论误差率上界，且在工人准确率提高时优于多数投票。
• 在仿真与真实场景中，EM-MAP规则均紧密近似最优MAP规则，尤其当平均工人准确率超过随机猜测水平时表现更优。
• 从最优MAP规则导出的插值上界在代入估计参数后，能有效约束EM-MAP规则的误差率。
• 在仿真中，一步WMV的误差率与理论上的上界均表现出“交叉”现象：随着工人准确率提升，WMV超越多数投票。
• 在文本蕴涵任务的真实数据中，随着采样比例增加，MAP插值上界能紧密跟踪EM-MAP规则的实际误差率。