[논문 리뷰] Approval Voting and Incentives in Crowdsourcing

Nihar B. Shah, Dengyong Zhou외 1명|arXiv (Cornell University)|2015. 02. 19.

Mobile Crowdsensing and Crowdsourcing참고 문헌 35인용 수 25

한 줄 요약

이 논문은 단일 선택 방식보다 부분 지식을 더 효과적으로 포착할 수 있도록 작업자들이 여러 답변 옵션을 선택할 수 있도록 允許하는 캐주얼링 투표 메커니즘을 제안한다. 이는 진정성 있는 신뢰 보고를 보장하는 стрictly proper, frugal 인센티브 호환성 있는 지급 메커니즘을 도입하며, 이론적 보장과 아마존 메카니컬 터크에서의 실증적 검증을 통해 검증된다.

ABSTRACT

The growing need for labeled training data has made crowdsourcing an important part of machine learning. The quality of crowdsourced labels is, however, adversely affected by three factors: (1) the workers are not experts; (2) the incentives of the workers are not aligned with those of the requesters; and (3) the interface does not allow workers to convey their knowledge accurately, by forcing them to make a single choice among a set of options. In this paper, we address these issues by introducing approval voting to utilize the expertise of workers who have partial knowledge of the true answer, and coupling it with a ("strictly proper") incentive-compatible compensation mechanism. We show rigorous theoretical guarantees of optimality of our mechanism together with a simple axiomatic characterization. We also conduct preliminary empirical studies on Amazon Mechanical Turk which validate our approach.

연구 동기 및 목표

• 단일 선택 방식의 캐주얼링 인터페이스가 작업자의 부분 지식을 포착하지 못하는 한계를 해결한다.
• 신뢰 보고를 보상하는 지급 메커니즘 설계를 통해 캐주얼링에서의 인센티브가 맞물리지 않는 문제를 해결한다.
• 작업자가 모든 옵션을 선택하는 경우 지급을 최소화하면서도 진정성 있는 보고를 보장하는 frugal, strictly proper 스코어링 규칙을 개발한다.
• 이론적 분석을 통해 조건부 신뢰 가정 하에 유일한 메커니즘이 인센티브 호환성과 frugality를 모두 만족함을 보여준다.
• 아마존 메카니컬 터크에서의 초도 연구를 통해 실증적으로 접근법을 검증하여 레이블 품질 향상과 작업자 진정성 보장의 효과를 입증한다.

제안 방법

• 작업자가 정답으로 생각되는 여러 옵션을 선택할 수 있도록 허용하는 승인 투표 인터페이스를 도입한다.
• 작업자 신뢰를 옵션에 대한 확률 분포로 모델링하고, 모드가 아닌 비영 확률을 가지는 옵션 집합(신뢰 지원)을 측정한다.
• 작업자가 진정한 신뢰 지원을 보고할 때만 기대 지급을 최대화하는 strictly proper 스코어링 규칙 기반 지급 메커니즘을 설계한다.
• 조금 더 조건부 신뢰 가정(신뢰가 충분히 분할 가능하여 신뢰도의 미세한 변화를 구분할 수 있음) 하에 메커니즘이 인센티브 호환성과 frugality를 모두 만족함을 증명한다.
• 공리적 특성화를 통해 유일한 메커니즘 구조를 유도하며, 모든 유효한 메커니즘들이 기본 함수들의 선형 조합임을 보여준다.
• 다중 작업 설정에 메커니즘을 적용하기 위해 작업 간 응답을 집계하고, 작업자가 다른 작업의 정답을 알고 있더라도 인센티브 구조가 유지됨을 증명한다.

실험 결과

연구 질문

• RQ1 승인 투표를 통해 작업자가 다수의 선택을 통해 부분 지식을 표현할 수 있도록 하면, 캐주얼링에서 레이블 품질이 향상될 수 있는가?
• RQ2 승인 투표 환경에서 작업자가 자신의 신뢰 지원을 진정성 있게 보고하도록 보장하는 인센티브 호환성 지급 메커니즘을 설계할 수 있는가?
• RQ3 이러한 맥락에서 stricty proper 와 frugal 성질을 모두 만족시키기 위해 지급 메커니즘이 충족해야 할 조건은 무엇인가?
• RQ4 아마존 메카니컬 터크와 같은 실세계 레이블링 작업에 적용했을 때 메커니즘이 실증적으로 어떻게 성능을 보이는가?
• RQ5 이러한 메커니즘 설계에 이론적 한계가 존재하는가? 어떤 가정 하에 이를 극복할 수 있는가?

주요 결과

• 논문은 일반적인 승인 투표 설정에서는 추가 가정 없이도 인센티브 호환성 메커니즘이 존재하지 않음을 증명하며, 근본적인 불가능성 결과를 설정한다.
• 조금 더 조건부 신뢰 가정 하에(신뢰가 충분히 분할 가능하여 작은 변화를 구분할 수 있음), 제안된 메커니즘은 유일하게 stricty proper 와 frugal 성질을 모두 만족하는 유일한 메커니즘으로 특성화된다.
• 메커니즘은 작업자가 자신의 신뢰 지원을 진정성 있게 보고할 때만 기대 지급을 최대화하도록 보장하여 전략적 과대 또는 과소 보고를 방지한다.
• 이론적 분석을 통해 지급 함수는 오직 두 개의 자유도만을 가지며, 이는 두 가지 핵심 점에서의 행동에 의해 스케일과 이동에 의해 완전히 결정됨을 보여준다.
• 아마존 메카니컬 터크에서의 실증 평가 결과, 승인 투표 인터페이스가 단일 선택 방식보다 더 높은 품질의 레이블과 더 진정성 있는 보고를 이끌어냄을 확인하였다.
• 특히 작업자가 정확한 답을 확신하지 못하고 부분 지식만을 가지고 있을 경우, 표준 단일 선택 방법보다도 정답 레이블을 더 잘 식별하는 데에 메커니즘이 뛰어난 성능을 보였다.