[논문 리뷰] Crowd Guilds: Worker-led Reputation and Feedback on Crowdsourcing Platforms

Mark E. Whiting, Dilrukshi Gamage외 26명|arXiv (Cornell University)|2016. 11. 04.

Mobile Crowdsensing and Crowdsourcing참고 문헌 64인용 수 41

한 줄 요약

이 논문은 군중 길드—노동자 주도의 공동체로, 이중 막힌 동료 평가를 통해 크라우드소싱 플랫폼에서 정확하고 명성 기반의 자격 신호를 생성한다. 2주간의 현장 실험에서 군중 길드는 기존의 분산형 모델보다 실제 노동자 품질과 더 높은 상관관계를 보이는 명성 신호를 생성했으며, 이는 노동자 자율 조직을 통해 공정한 보상과 향상된 플랫폼 거버넌스를 실현할 수 있는 유망한 길을 보여준다.

ABSTRACT

Crowd workers are distributed and decentralized. While decentralization is designed to utilize independent judgment to promote high-quality results, it paradoxically undercuts behaviors and institutions that are critical to high-quality work. Reputation is one central example: crowdsourcing systems depend on reputation scores from decentralized workers and requesters, but these scores are notoriously inflated and uninformative. In this paper, we draw inspiration from historical worker guilds (e.g., in the silk trade) to design and implement crowd guilds: centralized groups of crowd workers who collectively certify each other's quality through double-blind peer assessment. A two-week field experiment compared crowd guilds to a traditional decentralized crowd work model. Crowd guilds produced reputation signals more strongly correlated with ground-truth worker quality than signals available on current crowd working platforms, and more accurate than in the traditional model.

연구 동기 및 목표

• 분산형 크라우드소싱의 역설, 즉 노동자 자율성이 명성 시스템과 같은 필수적인 품질 제도를 약화시키는 문제를 해결하기 위해.
• 아마존 메카니컬 터크 같은 플랫폼에서 기존 명성 점수의 인플레이션과 노이즈를 줄이기 위해.
• 자격 인증, 피드백, 공동 행동을 위한 자율적 거버넌스 메커니즘을 노동자에게 부여하기 위해.
• 노동자 주도의 명성 시스템이 분산형, 요청자 중심 피드백보다 더 정확한 품질 신호를 생성할 수 있는지 평가하기 위해.
• 동료 평가와 커뮤니티 포럼이 분산된 노동자 간의 기술 개발, 멘토링, 사회적 지원을 어떻게 촉진할 수 있는지 탐색하기 위해.

제안 방법

• 노동자들이 플랫폼 전역의 단일 길드로 조직되며, 지속적인 이중 막힌 동료 평가를 통해 작업 제출물을 평가한다.
• 각 제출물은 다수의 길드 구성원이 품질을 평가하고 구조화된 평가 기준을 사용해 구체적인 피드백을 제공한다.
• 동료 평가 점수는 집계되어 노동자들을 길드 레벨(예: 레벨 1, 레벨 2)로 분류하며, 이는 플랫폼에서의 명성 신호로 기능한다.
• 길드 레벨은 작업이 게시될 때 더 높은 수준의 노동자에게 더 높은 보수율을 추천하는 데 사용된다.
• 전용 포럼을 통해 길드 구성원 간의 지속적인 소통, 멘토링, 공동 의사결정이 이루어진다.
• 기존 플랫폼인 메카니컬 터크에서 제공하지 않는 기능을 지원하기 위해, 오픈소스 Daemo 플랫폼에 시스템을 구현했다.

실험 결과

연구 질문

• RQ1 노동자 주도의 동료 평가 기반 명성 시스템은 기존의 분산형 명성 시스템보다 더 정확한 품질 신호를 생성할 수 있는가?
• RQ2 이중 막힌 동료 평가 방식은 크라우드소싱에서 명성 점수의 신뢰성과 정보성에 어떤 영향을 미치는가?
• RQ3 군중 길드는 노동자 동기 부여, 피드백 품질, 공동체 유대감을 어느 정도 향상시키는가?
• RQ4 자율적으로 조직된 노동자 공동체가 실제로 스스로를 거버넌스하고 플랫폼 수준의 결과, 예를 들어 보수와 작업 품질에 영향을 줄 수 있는가?
• RQ5 구조화된 피드백과 계층적 자격 인증은 기술 개발과 장기적인 노동자 참여에 어떤 역할을 하는가?

주요 결과

• 군중 길드가 생성한 명성 신호는 기존의 분산형 모델보다 실제 노동자 품질과 유의미하게 더 높은 상관관계를 보였다.
• 이중 막힌 동료 평가 과정은 표준 요청자 피드백 대비 더 정보가 풍부하고 인플레이션 수준이 낮은 명성 점수를 만들어냈다.
• 길드 조건에 속한 노동자들은 더 효율적이고 구조적인 피드백을 제공했으며, 이는 피드백 문화 향상을 시사한다.
• 길드 모델은 안정적이고 공동체 중심의 자격 시스템을 구축할 수 있었으며, 이는 더 높은 보수율 추천에 활용될 수 있었다.
• 노동자들은 더 강한 사회적 유대감과 소속감을 느꼈으며, 포럼에서 실시간 존재 표시 기능을 요청했다.
• 실험을 통해 분산된 노동자들이 자율적으로 효과적이고 확장 가능한 공동체로 조직될 수 있으며, 플랫폼의 공정성과 품질을 향상시킬 수 있음을 입증했다.