[論文レビュー] Double or Nothing: Multiplicative Incentive Mechanisms for Crowdsourcing

Nihar B. Shah, Dengyong Zhou|arXiv (Cornell University)|Aug 6, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 11被引用数 63

ひとこと要約

本稿では、自信がある質問にのみ応答するようクラウドソーシング作業者を奨励する乗法的インcentiveメカニズムを提案する。このメカニズムは、no-free-lunch条件の下で唯一のインcentive-compatibleな解であることを証明し、実証評価において同程度または低コストで誤差率を顕著に低減する。

ABSTRACT

Crowdsourcing has gained immense popularity in machine learning applications for obtaining large amounts of labeled data. Crowdsourcing is cheap and fast, but suffers from the problem of low-quality data. To address this fundamental challenge in crowdsourcing, we propose a simple payment mechanism to incentivize workers to answer only the questions that they are sure of and skip the rest. We show that surprisingly, under a mild and natural no-free-lunch requirement, this mechanism is the one and only incentive-compatible payment mechanism possible. We also show that among all possible incentive-compatible mechanisms (that may or may not satisfy no-free-lunch), our mechanism makes the smallest possible payment to spammers. Interestingly, this unique mechanism takes a multiplicative form. The simplicity of the mechanism is an added benefit. In preliminary experiments involving over several hundred workers, we observe a significant reduction in the error rates under our unique mechanism for the same or lower monetary expenditure.

研究の動機と目的

• クラウドソーシングにおける低品質なデータ、特に信頼性が低いか不注意な作業者による影響という重要な課題に対処すること。
• 作業者が自信がないと感じる質問をスキップするようインcentivizeする報酬メカニズムを設計すること。
• やや弱いno-free-lunch条件の下で、唯一のインcentive-compatibleな報酬メカニズムを同定すること。
• スパム作業者への支払いを最小限に抑えつつ、高品質なラベリングを維持すること。

提案手法

• 作業者が自信を持って回答した場合にのみ報酬が支払われ、報酬額が自信度に乗法的に比例する乗法的報酬関数を提案する。
• インcentive-compatibleな条件下での作業者行動の形式的モデルを導入し、合理的なエージェントが期待効用を最大化すると仮定する。
• no-free-lunch条件の下で、作業者がランダムに回答しても利得を得られないようにする、唯一のインcentive-compatibleなメカニズムを導出する。
• ゲーム理論的分析を用いて、同じ制約下で他のいかなるメカニズムよりもインcentive-compatibleを満たせないことを証明する。
• 数名の作業者を対象とした実証的評価を通じて、誤差率とコスト効率を比較する。
• スパム作業者への支払いを最小限に抑えつつ、自信度の真実の報告を保証するメカニズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 no-free-lunch条件の下で、作業者が自信がある場合にのみ応答するよう唯一のインcentive-compatibleな報酬メカニズムは何か？
• RQ2 乗法的インcentiveメカニズムは、クラウドソーシングにおいて高品質なデータと低コストの両方を達成できるか？
• RQ3 クラウドソーシングにおいて、no-free-lunch原則を満たす唯一のインcentive-compatibleなメカニズムは存在するか？
• RQ4 提案されたメカニズムは、従来のメカニズムと比較して誤差率とコスト効率の点で優れているか？
• RQ5 すべてのインcentive-compatibleメカニズムの中で、スパム作業者に支払う最小限の支払い額は何か？

主な発見

• 提案された乗法的メカニズムは、no-free-lunch条件の下で唯一のインcentive-compatibleなメカニズムであり、このクラスにおいて唯一の最適解である。
• ベースライン手法と比較して、提案されたメカニズムは、同程度または低コストで顕著に誤差率を低減することが実証的に確認された。
• 数名の作業者を対象とした実証結果から、提案されたメカニズムの下でデータ品質が明確に向上していることが確認された。
• 提案されたメカニズムは、すべての可能なインcentive-compatibleメカニズムの中でスパム作業者への支払いを最小限に抑える。
• 乗法的構造の単純さのおかげで、実世界のクラウドソーシングプラットフォームにおける容易な実装と解釈が可能である。