[논문 리뷰] Crowdsourced Judgement Elicitation with Endogenous Proficiency

Anirban Dasgupta, Arpita Ghosh|arXiv (Cornell University)|2013. 03. 04.

Auction Theory and Applications인용 수 9

한 줄 요약

이 논문은 노동자들의 숙련도가 그들의 노력에 의해 내생적으로 결정되는 공동 평가 평가 유도의 새로운 메커니즘을 제안한다. 여러 작업과 기준 평가자 시스템을 활용하여 저성과 합의를 처벌함으로써, 혼합 전략과 이질적인 능력 수준 하에서도 최대 노력과 정직한 보고가 가장 높은 보상의 내쉬 균형이 되도록 보장한다.

ABSTRACT

Crowdsourcing is now widely used to replace judgement by an expert authority with an aggregate evaluation from a number of non-experts, in applications ranging from rating and categorizing online content to evaluation of student assignments in massively open online courses via peer grading. A key issue in these settings, where direct monitoring is infeasible, is incentivizing agents in the `crowd' to put in effort to make good evaluations, as well as to truthfully report their evaluations. This leads to a new family of information elicitation problems with unobservable ground truth, where an agent's proficiency- the probability with which she correctly evaluates the underlying ground truth- is endogenously determined by her strategic choice of how much effort to put into the task. Our main contribution is a simple, new, mechanism for binary information elicitation for multiple tasks when agents have endogenous proficiencies, with the following properties: (i) Exerting maximum effort followed by truthful reporting of observations is a Nash equilibrium. (ii) This is the equilibrium with maximum payoff to all agents, even when agents have different maximum proficiencies, can use mixed strategies, and can choose a different strategy for each of their tasks. Our information elicitation mechanism requires only minimal bounds on the priors, asks agents to only report their own evaluations, and does not require any conditions on a diverging number of agent reports per task to achieve its incentive properties. The main idea behind our mechanism is to use the presence of multiple tasks and ratings to identify and penalize low-effort agreement: the mechanism rewards agents for agreeing with a `reference' rater on a task but also penalizes for blind agreement by subtracting out a statistic term designed so that agents obtain reward only when they put effort into their observations.

연구 동기 및 목표

• 기본 진실이 관찰 불가능할 때 공동 평가 평가에서 노력과 정직한 보고를 유도하는 문제에 대응한다.
• 숙련도를 고정되거나 외생적인 특성으로 보는 대신, 노력에 의존하는 전략적 선택으로 모델링한다.
• 순수 전략과 혼합 전략 모두에서 최대 노력과 정직한 보고가 가장 유리한 내쉬 균형이 되도록 보장하는 메커니즘을 설계한다.
• 각 작업당 보고 수가 증가하는 데 의존하거나 다른 이의 신뢰도에 대한 믿음을 보고하도록 요구하지 않고도 강력한 인센티브 성질을 달성한다.
• 노력이 정확도에 직접적인 영향을 미치는 분야, 예를 들어 동료 채점 및 콘텐츠 모니터링과 같은 애플리케이션에서 인cent라이즈 가능 메커니즘의 기반을 마련한다.

제안 방법

• 각 기업의 보고가 동일한 작업에서 지정된 기준 평가자와 비교되는 기준 평가자 시스템을 사용한다.
• 기준 평가자와의 합의를 보상하지만, 독립적 관찰에 기반하지 않은 합의에는 처벌을 부과하는 보상 함수를 설계한다.
• 공통 관찰에 기반하지 않은 '맹목적 합의'에 통계적 처벌 항목을 도입함으로써 저성과 협력 행동을 억제한다.
• 각 기업이 별도의 작업 블록에 할당되고, 타당성과 공정성을 확보하기 위해 기준 평가자가 선택되도록 기업-작업 할당을 구성한다.
• 초기 단계에서 기업들을 무작위로 순열화하여 기업 간 숙련도에 대한 편향 없는 기대치를 확보한다.
• 기업이 노력 수준과 보고를 선택하는 게임 이론적 모델로 메커니즘을 정형화하고, 구조적 할당과 통계적 추정을 통해 균형 성질을 증명한다.

실험 결과

연구 질문

• RQ1 노력에 의해 내생적으로 결정되는 숙련도 상황에서 최대 노력과 정직한 보고를 이끌어내는 인센티브 메커니즘을 어떻게 설계할 수 있는가?
• RQ2 기업이 혼합 전략을 사용하는 상황에서도 가장 높은 보상 내쉬 균형이 최대 노력과 정직한 보고로 이어지도록 보장할 수 있는가?
• RQ3 기업이 다른 이의 행동에 대한 예측을 보고하거나 작업당 보고 수가 증가하는 데 의존하지 않고도 강력한 인센티브 성질을 달성할 수 있는 조건은 무엇인가?
• RQ4 이질적인 기업 능력이 존재하는 상황에서 기준 평가자 선정과 작업 할당을 어떻게 구성하면 타당성과 공정성을 확보할 수 있는가?
• RQ5 메커니즘을 더 풍부한 결과 공간, 이진이 아닌 노력 모델, 또는 이질적인 작업 난이도로 확장할 경우의 영향은 무엇인가?

주요 결과

• 최대 노력 후 정직한 보고는 내쉬 균형이며, 혼합 전략과 이질적인 최대 숙련도 하에서도 모든 기업에게 가장 높은 보상을 제공한다.
• 메커니즘은 기업이 다른 이의 행동에 대한 예측을 보고하거나 작업당 보고 수가 증가하는 데 의존하지 않고도 인센티브 성질을 달성한다.
• 기준 평가자 시스템은 정보 기반 합의와 맹목적 합의를 구분할 수 있는 합의 통계를 추정할 수 있게 하여 저성과 행동에 효과적인 처벌을 가능하게 한다.
• 각 기업이 별도의 작업 블록에 할당되고, 한 블록 내에서 한 명의 기업이 더 이상 한 번 이상의 작업을 할당받지 않도록 할 수 있는 타당한 기업-작업 할당과 기준 평가자 선정이 구성될 수 있다.
• 메커니즘은 최소한의 사전 가정 하에서도 인센티브 호환성을 유지하며, 우선 확률에 대한 경계만 필요로 하고 개별 기업의 숙련도에 대한 지식이 필요로 하지 않는다.
• 메커니즘은 이질적인 기업 능력에 강건하며, 순수 전략과 혼합 전략 균형 모두를 지원하며 정직하고 고도의 노력 행동에 강력한 보상 우월성을 유지한다.