[논문 리뷰] Peer Truth Serum: Incentives for Crowdsourcing Measurements and Opinions

Boi Faltings, Radu Jurca외 1명|arXiv (Cornell University)|2017. 04. 18.

Mobile Crowdsensing and Crowdsourcing참고 문헌 20인용 수 5

한 줄 요약

이 논문은 피어 일致성(consistency)을 기반으로 한 보상 체계를 통해 참된 보고를 유도하는 새로운 인센티브 메커니즘인 피어 트루스러이드(PTS)를 제안한다. 이 메커니즘은 랜덤으로 선택된 동료들의 응답과의 일치도를 기반으로 에이전트를 보상한다. 이는 공통의 사후 확률 믿음이나 진실의 기준이 없이도 인센티브 호환성(incentive compatibility)을 유일하게 만족시키며, 실험 결과 센싱, 인간 계산, 의견 조사 분야에서 편향과 게이밍을 효과적으로 줄이는 데 성공했다.

ABSTRACT

Modern decision making tools are based on statistical analysis of abundant data, which is often collected by querying multiple individuals. We consider data collection through crowdsourcing, where independent and self-interested agents, non-experts, report measurements, such as sensor readings, opinions, such as product reviews, or answers to human intelligence tasks. Since the accuracy of information is positively correlated with the effort invested in obtaining it, self-interested agents tend to report low-quality data. Therefore, there is a need for incentives that cover the cost of effort, while discouraging random reports. We propose a novel incentive mechanism called Peer Truth Serum that encourages truthful and accurate reporting, showing that it is the unique mechanism to satisfy a combination of desirable properties.

연구 동기 및 목표

• 지식이 없는 자율적인 에이전트들이 커뮤니티 기반의 측정치와 의견을 정확하게 보고하도록 유도하는 인센티브 메커니즘을 설계하는 것.
• 진실의 기준이 알려져 있거나 이용 가능하지 않은 상황에서 고품질 데이터를 유도하는 데 도전하는 것.
• 공통의 사후 확률 믿음이나 외부 진실 검증이 없이도 인센티브 호환성을 유지하는 메커니즘을 개발하는 것.
• 에이전트들이 동료들과의 일치도에 기반해 보상을 받도록 하여 참된 보고가 지배 전략(dominant strategy)이 되도록 보장하는 것.
• 실제 응용 분야인 지역 사회 센싱 및 의견 조사에서의 메커니즘의 탄력성과 저항력을 평가하는 것.

제안 방법

• 메커니즘은 피어 일치성 기반 평가를 사용한다: 에이전트들은 무작위로 선택된 동료들의 응답과 얼마나 일치하는지에 따라 점수를 받는다.
• 에이전트들이 측정 대상 변수의 분포에 대해 공통의 사전 확률 믿음을 공유한다고 가정하지만, 반드시 공통의 사후 확률 믿음을 공유하지는 않는다.
• 점수 규칙은 진정한 기준이 아닌 피어 기반 평가에 적합하도록 수정된 적절한 점수 규칙(proper scoring rules)의 변형을 기반으로 유도된다.
• 메커니즘은 다른 에이전트들의 보고 내용과 무관하게 참된 보고가 기대 수익을 최대화함으로써 인센티브 호환성을 보장한다.
• 정보가 없는 에이전트에게 보상을 주지 않도록 설계되었으며, 정보가 풍부한 사전 확률을 가진 에이전트들이 점차 진정한 분포에 수렴하도록 보장한다.
• 공동의 현상에서 유사한 보고를 평균화하여 동료의 공모(collusion)에 대한 내성적 저항력을 높이기 위한 PTS의 변형을 제안한다.

실험 결과

연구 질문

• RQ1 진실의 기준이 없이도 커뮤니티 기반 보고의 참다움을 유도할 수 있는 메커니즘을 설계할 수 있는가?
• RQ2 에이전트들이 공통의 사후 확률 믿음을 공유하지 않을 경우에도 인센티브 호환성을 유지할 수 있는가?
• RQ3 외부 검증 없이도 정확하고 일관된 보고에 대해서만 보상을 지급할 수 있는 메커니즘은 어떻게 설계할 수 있는가?
• RQ4 공모가 메커니즘의 성능에 어떤 영향을 미치며, 이를 완화할 수 있는가?
• RQ5 이 메커니즘은 지역 사회 센싱 및 온라인 의견 조사와 같은 실제 커뮤니티 기반 응용 분야에 효과적으로 적용될 수 있는가?

주요 결과

• 피어 트루스러이드는 공통의 사후 확률 믿음이 필요 없이도 인센티브 호환성과 같은 여러 바람직한 성질을 동시에 만족시킨다.
• 지역 사회 센싱 실험 결과, 실제 측정치를 보고하는 것이 상수나 현재 예측값을 보고하는 것보다 유의미하게 더 높은 보상을 얻는다.
• 보고의 정확도가 높을수록 보상도 증가함을 확인하여 노력과 보상 간의 강한 일치를 입증한다.
• 시스템을 게이밍하기 위해서는 다수의 에이전트가 공모해야 하므로, 개인적 조작에 대해 높은 내성적 저항성을 보인다.
• 인간 계산 작업에서 PTS에서 파생된 보너스 체계는 아마존 메커니컬 터크에서 작업자 응답의 체계적 편향을 성공적으로 제거했다.
• 온라인 의견 조사에서 PTS는 진실된 결과가 전혀 알려지지 않은 질문들에 대해서도 전통적인 예측 시장과 유사한 정확도를 달성했다.