[论文解读] Double or Nothing: Multiplicative Incentive Mechanisms for Crowdsourcing

Nihar B. Shah, Dengyong Zhou|arXiv (Cornell University)|Aug 6, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 11被引用 63

一句话总结

本文提出了一种乘法激励机制，鼓励众包工作者仅回答他们有把握的问题，跳过不确定的问题。该机制在无免费午餐条件下被证明是唯一具有激励相容性的解，并在实证评估中显著降低了错误率，且成本相当或更低。

ABSTRACT

Crowdsourcing has gained immense popularity in machine learning applications for obtaining large amounts of labeled data. Crowdsourcing is cheap and fast, but suffers from the problem of low-quality data. To address this fundamental challenge in crowdsourcing, we propose a simple payment mechanism to incentivize workers to answer only the questions that they are sure of and skip the rest. We show that surprisingly, under a mild and natural no-free-lunch requirement, this mechanism is the one and only incentive-compatible payment mechanism possible. We also show that among all possible incentive-compatible mechanisms (that may or may not satisfy no-free-lunch), our mechanism makes the smallest possible payment to spammers. Interestingly, this unique mechanism takes a multiplicative form. The simplicity of the mechanism is an added benefit. In preliminary experiments involving over several hundred workers, we observe a significant reduction in the error rates under our unique mechanism for the same or lower monetary expenditure.

研究动机与目标

• 为解决众包中因不可靠或粗心的工作者导致的低质量数据这一关键挑战。
• 设计一种支付机制，激励工作者在不确定时跳过问题，从而提高数据质量。
• 在温和的无免费午餐条件下，识别唯一具有激励相容性的支付机制。
• 在保持高质量标注的同时，最小化对垃圾信息发送者的支付。

提出的方法

• 提出一种乘法支付函数，仅当工作者以高把握度回答时才给予奖励，且支付金额与把握度成乘法关系。
• 构建了在激励相容性假设下工作者行为的正式模型，假设理性参与者会最大化其期望效用。
• 在无免费午餐条件下推导出唯一具有激励相容性的机制，该条件可防止工作者通过随机回答获得效用。
• 通过博弈论分析证明，在相同约束下，不存在其他机制能满足激励相容性。
• 通过数百名工作者的实证评估，比较了错误率和成本效率。
• 设计了一种机制，在确保真实信心水平报告的同时，最小化对垃圾信息发送者的支付。

实验结果

研究问题

• RQ1 在无免费午餐条件下，何种支付机制能唯一激励工作者仅在有把握时才作答？
• RQ2 乘法激励机制是否能在众包中同时实现高质量数据和低成本？
• RQ3 是否存在唯一具有激励相容性的机制，满足众包中的无免费午餐原则？
• RQ4 与现有机制相比，所提出的机制在错误率和成本效率方面表现如何？
• RQ5 在所有具有激励相容性的机制中，对垃圾信息发送者的最低可能支付是多少？

主要发现

• 所提出的乘法机制是在无免费午餐条件下唯一具有激励相容性的机制，因此在此类机制中具有唯一最优性。
• 与基线方法相比，该机制在众包标注中显著降低了错误率，且货币支出相同或更低。
• 对数百名工作者的实证结果证实，所提机制在数据质量方面有可测量的提升。
• 在所有可能的具有激励相容性的机制中，该机制对垃圾信息发送者的支付最小化。
• 乘法结构的简洁性使其在现实众包平台中易于实现和理解。