[논문 리뷰] Double or Nothing: Multiplicative Incentive Mechanisms for Crowdsourcing

Nihar B. Shah, Dengyong Zhou|arXiv (Cornell University)|2014. 08. 06.

Mobile Crowdsensing and Crowdsourcing참고 문헌 11인용 수 63

한 줄 요약

이 논문은 신뢰도가 높은 작업자만 자신이 확신하는 질문에만 응답하도록 유도하는 다중 곱셈적 인센티브 메커니즘을 제안한다. 이 메커니즘이 무료로 이득을 볼 수 없는 조건 하에서 유일한 인센티브 호환성 해결책임을 증명하고, 실증 평가에서 기존 방법과 유사하거나 낮은 비용으로 오류율을 크게 감소시킨다.

ABSTRACT

Crowdsourcing has gained immense popularity in machine learning applications for obtaining large amounts of labeled data. Crowdsourcing is cheap and fast, but suffers from the problem of low-quality data. To address this fundamental challenge in crowdsourcing, we propose a simple payment mechanism to incentivize workers to answer only the questions that they are sure of and skip the rest. We show that surprisingly, under a mild and natural no-free-lunch requirement, this mechanism is the one and only incentive-compatible payment mechanism possible. We also show that among all possible incentive-compatible mechanisms (that may or may not satisfy no-free-lunch), our mechanism makes the smallest possible payment to spammers. Interestingly, this unique mechanism takes a multiplicative form. The simplicity of the mechanism is an added benefit. In preliminary experiments involving over several hundred workers, we observe a significant reduction in the error rates under our unique mechanism for the same or lower monetary expenditure.

연구 동기 및 목표

• 신뢰할 수 없거나 경솔한 작업자로 인한 낮은 품질의 데이터 문제를 해결하기 위해.
• 작업자가 자신이 확신하지 못하는 질문은 건너뛰도록 유도하는 지급 메커니즘을 설계하여 데이터 품질을 향상시키기 위해.
• 약한 무료 이득 금지 조건 하에서 유일한 인센티브 호환성 지급 메커니즘을 특정하기 위해.
• 스팸러들에게 지불하는 비용을 최소화하면서도 높은 품질의 레이블링을 유지하기 위해.

제안 방법

• 작업자가 확신할 때만 보상을 받고, 보상이 확신 수준에 따라 곱셈적으로 증가하는 다중 곱셈 지급 함수를 제안한다.
• 합리적인 에이전트가 기대 효용을 최대화한다고 가정하여, 인센티브 호환성 하에서 작업자 행동을 형식적으로 모델링한다.
• 무료 이득 금지 조건 하에서 인센티브 호환성 메커니즘을 유일하게 유도하며, 이는 작업자가 무작위로 답변해도 이득을 보지 못하게 한다.
• 게임 이론적 분석을 통해 동일한 조건 하에서 다른 메커니즘이 인센티브 호환성을 만족시킬 수 없음을 증명한다.
• 수백 명의 작업자로 구성된 실증 평가를 통해 오류율과 비용 효율성을 비교한다.
• 스팸러들에게 지불하는 비용을 최소화하면서도 확신 수준의 정직한 보고를 보장하는 메커니즘을 설계한다.

실험 결과

연구 질문

• RQ1 무료 이득 금지 조건 하에서 유일하게 작업자들이 확신할 때만 응답하도록 유도하는 지급 메커니즘은 무엇인가?
• RQ2 다중 곱셈적 인센티브 메커니즘은 크라우드소싱에서 높은 데이터 품질과 낮은 비용을 동시에 달성할 수 있는가?
• RQ3 크라우드소싱에서 무료 이득 금지 원칙을 만족하는 유일한 인센티브 호환성 메커니즘은 존재하는가?
• RQ4 기존 메커니즘과 비교할 때 제안된 메커니즘은 오류율과 비용 효율성 측면에서 어떻게 다른가?
• RQ5 모든 인센티브 호환성 메커니즘 중에서 스팸러에게 지불할 수 있는 최소한의 금액은 얼마인가?

주요 결과

• 제안된 다중 곱셈 메커니즘은 무료 이득 금지 조건 하에서 인센티브 호환성 메커니즘으로서의 유일성을 보장하므로, 이 클래스 내에서 최적의 해결책이다.
• 기존 기준 방법과 비교해 제안된 메커니즘은 동일하거나 낮은 금전적 지출로 크라우드소싱 레이블링의 오류율을 크게 감소시킨다.
• 수백 명의 작업자로 구성된 실증 결과는 제안된 메커니즘 하에서 데이터 품질 향상의 명확한 개선 효과를 확인한다.
• 이 메커니즘은 모든 가능한 인센티브 호환성 메커니즘 중에서 스팸러에게 지불하는 비용을 최소화한다.
• 다중 곱셈 구조의 단순성 덕분에 실제 크라우드소싱 플랫폼에서의 구현과 해석이 용이하다.