[论文解读] Analysis of Minimax Error Rate for Crowdsourcing and Its Application to Worker Clustering Model

Hideaki Imamura, Issei Sato+1 more|arXiv (Cornell University)|Feb 13, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用 15

一句话总结

本文在一般假设下推导出众包模型的极小化最大误差率下界，使对所提出的工人聚类（WC）模型的理论分析成为可能——该模型旨在稳定现实世界中工人标注频率差异极大的自由放任型众包环境下的真实标签估计。理论下界与实验中的实际误差高度吻合，验证了分析的有效性及模型的鲁棒性。

ABSTRACT

While crowdsourcing has become an important means to label data, there is great interest in estimating the ground truth from unreliable labels produced by crowdworkers. The Dawid and Skene (DS) model is one of the most well-known models in the study of crowdsourcing. Despite its practical popularity, theoretical error analysis for the DS model has been conducted only under restrictive assumptions on class priors, confusion matrices, or the number of labels each worker provides. In this paper, we derive a minimax error rate under more practical setting for a broader class of crowdsourcing models including the DS model as a special case. We further propose the worker clustering model, which is more practical than the DS model under real crowdsourcing settings. The wide applicability of our theoretical analysis allows us to immediately investigate the behavior of this proposed model, which can not be analyzed by existing studies. Experimental results showed that there is a strong similarity between the lower bound of the minimax error rate derived by our theoretical analysis and the empirical error of the estimated value.

研究动机与目标

• 为解决在非均匀类别先验和可变工人标注频率等现实假设下，Dawid 和 Skene（DS）模型缺乏理论误差分析的问题。
• 开发一种比DS更实用的模型，以应对现实众包环境中工人参与度高度不平衡的情况。
• 为包括DS及其扩展在内的广泛模型类提供一个在弱假设下适用的极小化最大下界。
• 使对所提出的工人聚类模型的理论研究成为可能，该模型因受严格假设限制而无法用以往方法分析。

提出的方法

• 使用Fano方法，在一般假设下推导出任何真实标签估计器在众包中的误差率极小化最大下界。
• 提出工人聚类（WC）模型，通过将标注行为相似的工人分组，提升在单个工人标注任务较少时的估计稳定性。
• 应用极小化最大下界分析WC模型的理论性能，利用数据处理不等式通过条件熵和互信息进行推导。
• 在WC模型中使用EM算法进行推断，扩展DS模型框架以处理聚类后的工人混淆矩阵。
• 推导出一个通用的误差率下界 $ R(\rho, \pi) $，其依赖于类别先验 $ \rho $ 和工人混淆矩阵 $ \pi $，适用于广泛的模型类别。
• 通过将理论下界与合成数据集和真实数据集上的实际误差进行比较，验证了理论下界的准确性。

实验结果

研究问题

• RQ1 在包含非均匀类别先验和可变工人标注频率的一般假设下，众包模型的极小化最大误差率是多少？
• RQ2 所提出的工人聚类模型在工人参与度不平衡的自由放任型众包环境中，如何提升真实标签估计的准确性？
• RQ3 所推导的极小化最大下界能否用于对现有方法因假设过严而无法处理的模型（如工人聚类）进行理论分析？
• RQ4 理论极小化最大下界在实际中与估计真实标签的实测误差有多接近？
• RQ5 工人聚类模型是否能降低工人参与度不平衡对估计准确率的影响？

主要发现

• 推导出的极小化最大下界 $ \frac{1}{n\log K}\left(R(\rho,\pi) - \frac{\log 2}{n}\right) $ 为一大类众包模型提供了紧致的理论误差率上限。
• 理论极小化最大下界与多个数据集上估计真实标签的实际误差高度一致，验证了分析的可靠性。
• 在工人参与度高度可变的环境中，工人聚类模型显著提升了估计准确率，优于多数投票法和标准DS模型。
• 通过聚合相似工人组成的群体行为，该模型即使在单个工人仅标注少数任务时也能实现稳定估计。
• 所提出的理论分析框架具有广泛适用性，可用于分析以往理论方法难以处理的模型（如工人聚类模型）。
• 在CLN、ZLN、RTE、Bird和Dog数据集上的实验表明，WC模型能有效降低误差，并在不同水平的对抗性工人和标注不平衡条件下保持鲁棒性。