[论文解读] Efficiency of active learning for the allocation of workers on crowdsourced classification tasks

Edoardo Manino, Long Tran-Thanh+1 more|arXiv (Cornell University)|Oct 19, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 12被引用 3

一句话总结

本文提出并分析了在众包分类任务中分配工作者的主动学习策略，理论上和实证上均表明，自适应分配优于均匀分配，在分类准确率方面表现更优。通过利用基于平均场推断的工作者能力估计，即使在初始时未知工作者质量的情况下，主动学习也能减少误分类错误。

ABSTRACT

Crowdsourcing has been successfully employed in the past as an effective and cheap way to execute classification tasks and has therefore attracted the attention of the research community. However, we still lack a theoretical understanding of how to collect the labels from the crowd in an optimal way. In this paper we focus on the problem of worker allocation and compare two active learning policies proposed in the empirical literature with a uniform allocation of the available budget. To this end we make a thorough mathematical analysis of the problem and derive a new bound on the performance of the system. Furthermore we run extensive simulations in a more realistic scenario and show that our theoretical results hold in practice.

研究动机与目标

• 为解决众包分类任务中最佳工作者分配策略缺乏理论理解的问题。
• 从分类准确率和效率角度，比较主动学习策略与均匀分配策略。
• 推导在已知和未知工作者质量设置下的性能理论边界。
• 通过在现实众包场景中进行广泛模拟，验证理论发现。
• 研究工作者能力估计和任务分配策略对最终分类准确率的影响。

提出的方法

• 使用二分类模型，其中每个任务的真实标签属于 {+1, -1}，工作者提供具有准确率 $ p_j $ 的噪声标签。
• 当工作者准确率 $ p_j $ 已知时，应用 Nitzan-Paroush 最优聚合规则，利用对数似然比计算预测的置信度。
• 采用近似平均场推断算法（Liu et al., 2012）从收集到的标签中估计未知的工作者参数 $ p_j $。
• 修改分配策略以避免工作者-任务重复：均匀分配选择标签最少的任务，主动学习选择置信度最高（|z_i|）的任务。
• 在每次标签到达后，通过一次平均场算法迭代在线更新置信度估计。
• 在不同参数下进行 1000 次模拟：任务数量 $ M $、总预算 $ B $、每个工作者的平均标签数 $ | olimits_j| $，其中 $ f_P \sim \text{Beta}(4,2) $。

实验结果

研究问题

• RQ1 在已知工作者质量的情况下，主动学习策略与均匀分配在分类准确率方面有何比较？
• RQ2 在已知工作者准确率的理想情况下，能否为主动学习策略推导出理论性能边界？
• RQ3 当工作者质量未知且必须通过机器学习推断时，主动学习的性能优势是否依然存在？
• RQ4 系统参数（如总预算 $ B $、任务数量 $ M $、每个工作者的标签数）如何影响不同分配策略的分类准确率？
• RQ5 通过多次任务分配实现的更优工作者能力估计，在多大程度上提升了整体系统性能？

主要发现

• 主动学习在分类准确率方面始终优于均匀分配，且性能差距大于理论分析所预测的。
• 在已知工作者质量下推导出的理论边界在实践中依然成立，即使工作者准确率是通过平均场推断估计的。
• 增加总预算 $ B $ 显著提升分类准确率，性能随 $ B/M $ 从 2 增加到 20 而上升。
• 每个工作者的平均标签数 ($ | olimits_j| $ 从 2 到 20) 越高，系统准确率越高，因为推断算法能获得更好的能力估计。
• 在固定预算 $ B = 10M $ 下，分类准确率在 $ M $ 从 20 到 10,000 的不同取值下保持稳定，表明对任务集大小具有鲁棒性。
• 在中等预算下，主动学习与均匀分配之间的性能差距最为显著，表明主动学习在资源有限时效率最高。