[논문 리뷰] Sequential Peer Prediction: Learning to Elicit Effort using Posted Prices

Yang Liu, Yiling Chen|arXiv (Cornell University)|2016. 11. 28.

Mobile Crowdsensing and Crowdsourcing인용 수 8

한 줄 요약

이 논문은 지식이 없는 군중 작업자들의 이질적인 비용이나 전문성에 대해 알지 못하면서도 노력과 정직한 보고를 유도하기 위해 동적으로 최적의 보상 수준을 학습하는 순차적 게시 가격 메커니즘을 제안한다. 이 메커니즘은 최적의 보상 학습에서 $\tilde{O}(T^{3/4})$의 위험 한계를 달성하며, 작업자들이 평형 상태에서 임계값 전략을 따르고, 완전한 이성적 사고가 아니더라도 평균장 가정 하에 정상적으로 행동함을 보장한다.

ABSTRACT

Peer prediction mechanisms are often adopted to elicit truthful contributions from crowd workers when no ground-truth verification is available. Recently, mechanisms of this type have been developed to incentivize effort exertion, in addition to truthful elicitation. In this paper, we study a sequential peer prediction problem where a data requester wants to dynamically determine the reward level to optimize the trade-off between the quality of information elicited from workers and the total expected payment. In this problem, workers have homogeneous expertise and heterogeneous cost for exerting effort, both unknown to the requester. We propose a sequential posted-price mechanism to dynamically learn the optimal reward level from workers' contributions and to incentivize effort exertion and truthful reporting. We show that (1) in our mechanism, workers exerting effort according to a non-degenerate threshold policy and then reporting truthfully is an equilibrium that returns highest utility for each worker, and (2) The regret of our learning mechanism w.r.t. offering the optimal reward (price) is upper bounded by $ ilde{O}(T^{3/4})$ where $T$ is the learning horizon. We further show the power of our learning approach when the reports of workers do not necessarily follow the game-theoretic equilibrium.

연구 동기 및 목표

• 지식이 없는 참가자들의 비용과 전문성을 알지 못하면서도 지식 기반 검증이 불가능한 상황에서, 노력 유도와 지불 비용 간의 균형을 맞추는 실용적인 피어 예측 메커니즘을 설계한다.
• 작업자들의 노력 비용과 전문성이 알려지지 않았거나 이질적인 상황에서 최적의 보상 수준을 학습할 수 있도록 한다.
• 모든 작업자들이 노력과 정직한 보고를 임계값 정책을 통해 수행할 때 고유용성 균형이 형성되도록 보장한다.
• 평균장 가정 하에 작업자들이 완전한 게임 이론적 이성성을 따르지 않을 경우에도 메커니즘의 강건성을 확장한다.
• 작업자들이 비용을 공개하는 것과 같은 추가 보고 부담을 피하기 위해, 오직 작업자들이 보고한 답변에 의존함으로써 정보 요구량을 최소화한다.

제안 방법

• 메커니즘은 다수의 손잡이 기반 밴딧 프레임워크를 사용하여 작업자 보고에 기반해 다양한 보상 수준을 순차적으로 탐색하고 활용한다.
• 작업자들이 보상이 개인의 비용 임계값을 초과할 경우에만 노력하는 임계값 정책을 적용함으로써 전략적 인centive가 정직한 보고와 일치하도록 보장한다.
• 메커니즘은 작업자 간 일치 확률을 추정하여 정확도와 집단 수준의 전문성을 유추함으로써, 직접적인 비용 공개 없이도 학습이 가능하도록 한다.
• 개인적 이성성이 약화된 상황에서 집단 수준의 정확도 추정을 단순화하기 위해 평균장 가정을 도입한다.
• 위험 분석은 최적의 고정 보상에 대한 누적 손실을 한계로 둔다. 농도 불등식과 탐색 및 활용 단계에 대한 합계 한계를 사용한다.
• 메커니즘은 최소한의 요구사항만을 갖추며, 작업자로부터의 답변 외에 추가적인 보고(예: 비용 공개)가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 지식이 없는 작업자들의 비용이나 전문성을 사전에 알지 못하면서도, 순차적 피어 예측 메커니즘이 실시간으로 최적의 보상 수준을 학습할 수 있는가?
• RQ2 동적 게시 가격 하에서, 임계값 기반의 노력 전략과 정직한 보고가 고유용성 균형을 형성하는가?
• RQ3 시간 간격 T 동안 최적의 고정 보상에 비해 학습 메커니즘의 위험 한계는 얼마인가?
• RQ4 작업자들이 완전한 이성성을 따르지 않을 경우, 합리적인 집단 수준의 행동 가정 하에 메커니즘이 여전히 효과를 유지할 수 있는가?
• RQ5 작업자 간 일치 확률은 지식 기반 검증이 없는 상황에서 기저 정확도를 추정하고 학습을 지원하는 데 어떻게 활용될 수 있는가?

주요 결과

• 제안된 메커니즘은 최적의 고정 보상 수준에 대해 $\tilde{O}(T^{3/4})$의 위험 한계를 달성하며, 시간이 지남에 따라 효율적인 학습이 가능하다.
• 작업자들은 노력에 대한 비가역적 임계값 정책을 따르고 정직하게 보고함으로써 최대의 유용성을 달성하며, 안정적인 균형을 형성한다.
• 메커니즘은 피어 예측 기반 설계로 인해 단순한 무정보성 보고 전략에 저항할 수 있어, 공모에 강건하다.
• 평균장 가정 하에, 작업자들이 완전한 이성성을 따르지 않더라도 메커니즘이 일반화되어 학습 성능을 유지한다.
• 메커니즘은 최소한의 요구사항을 갖추며, 오직 작업자들이 보고한 답변 외에 추가 정보가 필요로 하지 않으며, 개인의 비용을 공개할 필요가 없다.
• 이론적 분석을 통해 탐색 및 활용 단계가 위험 최소화를 위해 균형을 이루며, 합계 및 농도 기법을 사용해 명시적인 한계가 유도되었다.