[论文解读] Learning to Predict the Wisdom of Crowds

Şeyda Ertekin, Haym Hirsh+1 more|arXiv (Cornell University)|Apr 16, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 24被引用 26

一句话总结

本文提出 CrowdSense，一种在线算法，通过动态采样标注者，在最小预算下近似群体多数投票。通过平衡探索（采样多样化标注者）与利用（优先选择高质量标注者），CrowdSense 基于实时质量估计采用加权多数投票，即使在标注资源有限的情况下也能实现高准确率。

ABSTRACT

The problem of "approximating the crowd" is that of estimating the crowd's majority opinion by querying only a subset of it. Algorithms that approximate the crowd can intelligently stretch a limited budget for a crowdsourcing task. We present an algorithm, "CrowdSense," that works in an online fashion to dynamically sample subsets of labelers based on an exploration/exploitation criterion. The algorithm produces a weighted combination of a subset of the labelers' votes that approximates the crowd's opinion.

研究动机与目标

• 在众包中应对严格预算约束下近似群体多数意见的挑战。
• 克服在缺乏标注者质量或一致性先验知识的情况下识别可靠标注者的困难。
• 开发一种在线算法，实时平衡探索（收集标注者可靠性数据）与利用（使用高质量标注者）。
• 在保持预测群体多数投票高准确率的同时最小化标注成本。
• 提供一种模块化框架，用于近似群体智慧，可结合不同的探索/利用策略进行调整。

提出的方法

• CrowdSense 使用模块化框架，从一个小型标注者池开始，根据当前多数投票估计的不确定性逐步增加更多标注者。
• 其应用加权多数投票，其中每个标注者的投票根据其估计质量加权，该质量基于其与不断演化的群体共识的一致性。
• 该算法使用 epsilon-greedy 策略平衡探索与利用，其中参数 ε 控制采样新标注者与重用高质量标注者之间的权衡。
• 质量估计通过类似贝叶斯的更新规则迭代更新，结合新投票并调整对标注者准确性的置信度。
• 关键组件是在质量估计公式中使用常数 K，以防止初始噪声投票带来的早期偏差，确保早期阶段的公平探索。
• 该算法监控当前投票估计的不确定性，并在置信度水平过低时请求额外投票，从而实现自适应采样，直至达到足够确定性。

实验结果

研究问题

• RQ1 如何在仅使用部分标注者的情况下，有效近似群体的多数意见，同时最小化标注成本？
• RQ2 在在线众包环境中，探索（采样多样化标注者以评估质量）与利用（依赖高质量标注者）之间应如何实现最优平衡？
• RQ3 如何防止标注者质量估计中的早期偏差扭曲长期标注者的筛选？
• RQ4 探索参数 ε 和初始质量平滑常数 K 的选择在多大程度上影响近似结果的最终准确率？
• RQ5 简单的加权多数投票方案是否能优于假设标注者准确率与真实标签之间存在联合分布的更复杂概率模型？

主要发现

• CrowdSense 在预算约束下近似群体多数投票方面显著优于基线方法，尤其在每项物品的投票数有限时表现更优。
• 设置 K = 100 时达到最高准确率，因其促进了早期探索，确保初始采样阶段标注者质量估计保持平衡且无偏。
• 使用 K = 0 时性能最差，因其对早期错误高度敏感，表明保守的初始质量估计对稳健学习至关重要。
• 完全移除 K 会比使用 K = 10 导致性能更差，表明平滑初始估计可防止初始噪声引发的不可逆偏差。
• 尽管做出了强概率假设，其他模型（如独立标注者或二项分布界限）并未优于 CrowdSense，表明其加权多数投票方法能有效捕捉核心动态。
• 该算法通过根据不确定性动态调整每项物品的投票数量，实现高准确率，确保在不向低影响力标注者过度投入的情况下收集足够数据。