[论文解读] Approval Voting and Incentives in Crowdsourcing

Nihar B. Shah, Dengyong Zhou+1 more|arXiv (Cornell University)|Feb 19, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 35被引用 25

一句话总结

本文提出了一种众包中的批准投票机制，允许工作者选择多个答案选项，从而比单选方法更有效地捕捉部分知识。该机制引入了一种严格正确且成本低廉的激励相容支付机制，确保信念的诚实报告，并提供了理论保证和在 Amazon Mechanical Turk 上的实证验证。

ABSTRACT

The growing need for labeled training data has made crowdsourcing an important part of machine learning. The quality of crowdsourced labels is, however, adversely affected by three factors: (1) the workers are not experts; (2) the incentives of the workers are not aligned with those of the requesters; and (3) the interface does not allow workers to convey their knowledge accurately, by forcing them to make a single choice among a set of options. In this paper, we address these issues by introducing approval voting to utilize the expertise of workers who have partial knowledge of the true answer, and coupling it with a ("strictly proper") incentive-compatible compensation mechanism. We show rigorous theoretical guarantees of optimality of our mechanism together with a simple axiomatic characterization. We also conduct preliminary empirical studies on Amazon Mechanical Turk which validate our approach.

研究动机与目标

• 解决单选众包界面的局限性，这些界面无法捕捉工作者的部分知识。
• 通过设计一种奖励真实信念支持报告的支付机制，克服众包中的激励错配问题。
• 开发一种成本低廉的严格正确评分规则，最小化对选择所有选项的工作者的支付，同时确保诚实性。
• 理论分析表明，在粗粒度信念假设下，唯一满足激励相容性和成本低廉性的机制存在。
• 通过在 Amazon Mechanical Turk 上的初步研究进行实证验证，证明了该方法在提升标签质量和工作者诚实度方面的有效性。

提出的方法

• 引入一种批准投票界面，允许工作者选择他们认为可能正确的多个选项，而非仅选择一个。
• 将工作者的信念建模为选项上的概率分布，并获取其信念支持（非零信念的选项集合），而非模式。
• 基于严格正确的评分规则设计支付机制，仅当工作者真实报告其信念支持时，其期望支付达到最大。
• 证明在粗粒度信念假设（信念粒度足够）下，该机制既具有激励相容性又具备成本低廉性。
• 通过公理化表征推导出唯一机制结构，表明所有有效机制均为基函数的线性组合。
• 通过在多任务设置中聚合跨任务的响应，将该机制应用于多任务场景，证明即使工作者知道其他任务的答案，其激励结构依然成立。

实验结果

研究问题

• RQ1 批准投票能否通过允许多个选项选择来表达部分知识，从而提高众包中的标签质量？
• RQ2 是否可能设计一种激励相容的支付机制，确保工作者在批准投票设置中真实报告其信念支持？
• RQ3 在该情境下，支付机制必须满足哪些约束条件，才能同时具备严格正确性和成本低廉性？
• RQ4 当该机制应用于 Amazon Mechanical Turk 等真实世界标注任务时，其表现如何？
• RQ5 在设计此类机制时存在哪些理论限制？在何种假设下可以克服这些限制？

主要发现

• 本文证明，在无额外假设的情况下，一般批准投票设置下不存在激励相容机制，确立了一个根本性的不可能性结果。
• 在粗粒度信念假设下——即信念粒度足够以区分信心的微小变化——所提出的机制被唯一表征为唯一同时具备严格正确性和成本低廉性的机制。
• 该机制确保工作者仅在真实报告其信念支持时，才能最大化期望支付，从而防止策略性地过度或不足报告。
• 理论分析表明，支付函数仅有两个自由度，即其在两个关键点的行为完全决定了该函数（最多允许平移和缩放）。
• 在 Amazon Mechanical Turk 上的实证评估证实，批准投票界面相比单选方式能产生更高品质的标签和更诚实的报告。
• 该机制在识别正确标签方面优于标准的单选方法，尤其在工作者拥有部分知识但对确切答案不确定的情况下表现更优。