[논문 리뷰] Learning to Incentivize: Eliciting Effort via Output Agreement

Yang Liu, Yiling Chen|arXiv (Cornell University)|2016. 04. 17.

Mobile Crowdsensing and Crowdsourcing참고 문헌 19인용 수 31

한 줄 요약

이 논문은 지식이 없는 또는 검증하기 비용이 많이 드는 지상 진실이 존재할 때, 작업자들이 정직한 보고와 노력의 기여를 유도하기 위해 출력 일致 메커니즘을 통해 보상을 제공하는 메커니즘을 제안한다. 작업자들은 동료의 답변과 일치할 경우 보상을 받는다. 이 논문은 베이지안 내시 균형(Bayesian Nash equilibrium)을 특성화하고, 비용 분포가 알려져 있을 경우 볼록 최적화를 사용하여 최적의 보상 수준을 유도하며, 비용 분포가 알려져 있지 않을 경우에 정규화된 손실을 최소화하는 순차적 학습 메커니즘을 설계하여 T 단계 동안 O(T^{2/3} log T)의 손실 경계를 달성한다.

ABSTRACT

In crowdsourcing when there is a lack of verification for contributed answers, output agreement mechanisms are often used to incentivize participants to provide truthful answers when the correct answer is hold by the majority. In this paper, we focus on using output agreement mechanisms to elicit effort, in addition to eliciting truthful answers, from a population of workers. We consider a setting where workers have heterogeneous cost of effort exertion and examine the data requester's problem of deciding the reward level in output agreement for optimal elicitation. In particular, when the requester knows the cost distribution, we derive the optimal reward level for output agreement mechanisms. This is achieved by first characterizing Bayesian Nash equilibria of output agreement mechanisms for a given reward level. When the requester does not know the cost distribution, we develop sequential mechanisms that combine learning the cost distribution with incentivizing effort exertion to approximately determine the optimal reward level.

연구 동기 및 목표

• 지상 진실이 존재하지 않거나 검증 비용이 높을 때, 크라우드소싱에서 정직한 답변과 노력의 기여를 유도하는 데 도전하는 문제를 해결하기 위해.
• 작업자들이 동일한 분포에서 유래된 이질적이고 사전에 알려지지 않은 노력 비용을 지닌 것으로 모델링하여, 노력이 내생적 선택임을 가정하기 위해.
• 정확성과 지불 비용 간의 균형을 유지함으로써 요청자(requester)의 기대 효용을 극대화하는 보상 메커니즘을 설계하기 위해.
• 반복적 상호작용 동안 비용 분포를 학습하면서도 노력과 정직한 보고를 유도하는 순차적 메커니즘을 개발하기 위해.
• 비용 분포가 처음에는 알려져 있지 않은 동적 환경에서 요청자의 손실에 대해 이론적 보장을 제공하기 위해.

제안 방법

• 주어진 보상 수준에서 출력 일치 메커니즘의 베이지안 내시 균형(BNE)을 특성화하여, 작업자 효용을 극대화하는 유일한 임계값 전략이 존재함을 보여준다.
• 정적 설정에서는 비용 분포가 알려져 있을 경우 최적의 보상 수준을 볼록 최적화 문제로 수식화하여 효율적인 계산이 가능하다.
• 탐색(비용 분포 학습)과 이용(보상 설정)을 번갈아가며 수행하는 순차적 메커니즘을 설계하여, 정직한 비용 보고를 보장한다.
• 비용과 일치 확률 추정의 편향을 제어하기 위해 고확률 농도 경계와 체르노프 유형 부등식을 사용한다.
• 요청자의 효용 함수의 볼록성과 유한 도함수 가정을 적용하여 표본 오차와 효용 손실 간의 관계를 유도한다.
• 동적 메커니즘에 대해 O(T^{2/3} log T)의 손실 경계를 도출하여, T개의 작업 동안 탐색과 이용을 균형 있게 조절한다.

실험 결과

연구 질문

• RQ1 비용 분포가 알려져 있을 때, 요청자의 기대 효용을 극대화하는 출력 일치 메커니즘의 최적 보상 수준은 무엇인가?
• RQ2 비용 분포가 알려져 있지 않을 경우, 요청자는 어떻게 동시에 정직한 보고와 노력 기여를 유도하는 메커니즘을 설계할 수 있는가?
• RQ3 비용 분포가 시간이 지남에 따라 학습되는 순차적 설정에서 요청자의 손실에 대해 어떤 성능 보장을 제공할 수 있는가?
• RQ4 특히 보상 수준과 비용 분포에 따라 작업자들의 균형 행동—즉, 노력과 보고 전략—은 어떻게 달라지는가?
• RQ5 장기적 손실을 최소화하기 위해 탐색(비용 분포 학습)과 이용(최적 보상 설정) 사이의 상호 교환은 어떻게 이루어지는가?

주요 결과

• 출력 일치 메커니즘의 베이지안 내시 균형은 고유한 임계값 전략을 특징으로 하며, 이는 비용이 특정 임계값 이하일 경우에만 노력이 기여되며, 이는 작업자 효용을 극대화한다.
• 비용 분포가 알려져 있을 경우 최적의 보상 수준은 볼록 프로그래밍의 해이며, 이는 효율적으로 계산할 수 있다.
• 동적 설정에서는 제안된 순차적 메커니즘이 정직한 비용 보고를 보장하며, T개의 작업 동안 요청자의 기대 효용에 대해 O(T^{2/3} log T)의 손실 경계를 유지한다.
• 손실 경계는 탐색(O(T^{2/3} log T) 단계)과 이용의 균형 조절에서 기인하며, 최적의 탐색 비율은 z = 2/3일 때 도달된다.
• 메커니즘은 고확률 농도 경계를 통해 비용 추정 및 일치 확률의 편향을 제어하여, 효용 손실이 표본 오차 비례로 유지됨을 보장한다.
• 분석 결과, 비완전한 비용 추정이 존재하더라도, 오해보상과 표본 오차로 인한 효용 손실은 유한하며 시간이 지남에 따라 감소함을 보여주며, 장기적인 성능 보장을 가능하게 한다.