[논문 리뷰] An Analytic Approach to People Evaluation in Crowdsourcing Systems

Mohammad Allahbakhsh, Aleksandar Ignjatović외 4명|arXiv (Cornell University)|2012. 11. 14.

Mobile Crowdsensing and Crowdsourcing참고 문헌 20인용 수 7

한 줄 요약

이 논문은 작업 가치, 평가자 신뢰성, 평가 시점 등을 통합하여 노동자 신뢰도 평가를 향상시키는 분석적 명성 모델을 제안한다. 평가자 공정성 모델링과 적응형 가중치를 사용함으로써, eBay 및 PageRank 대비 부정확한 평가에 더 강건한 성능을 보이며, 노동자와 평가자 모두에 대한 보다 정확하고 신뢰할 수 있는 명성 점수를 보장한다.

ABSTRACT

Worker selection is a significant and challenging issue in crowdsourcing systems. Such selection is usually based on an assessment of the reputation of the individual workers participating in such systems. However, assessing the credibility and adequacy of such calculated reputation is a real challenge. In this paper, we propose an analytic model which leverages the values of the tasks completed, the credibility of the evaluators of the results of the tasks and time of evaluation of the results of these tasks in order to calculate an accurate and credible reputation rank of participating workers and fairness rank for evaluators. The model has been implemented and experimentally validated.

연구 동기 및 목표

• 크라우드소싱 플랫폼에서 노동자와 평가자에 대한 신뢰할 수 있는 명성 평가의 부족을 해결하기 위해.
• eBay 및 PageRank와 같은 명성 시스템에서 특히 악성 평가자들이 부정확한 투표를 하여 조작하는 것을 완화하기 위해.
• 평가자 신뢰성, 작업 가치, 시간 동적 요소를 고려하여 정확성과 공정성을 향상시키는 명성 모델을 개발하기 위해.
• 정직한 평가를 유도하고 편향을 줄이기 위해 평가자에게 공정성 순위를 도입하기 위해.
• 실험적 평가를 통해 모델의 명성 조작에 대한 강건성을 검증하기 위해.

제안 방법

• 모델은 평가자의 신뢰성과 평가 시점을 기반으로 산정된 가중치를 사용하여 작업 결과의 가중 평균을 계산함으로써 노동자 명성을 산정한다.
• 평가자 신뢰성은 이전 평가의 일관성과 공정성 분석을 통해 결정되며, 각 평가자에게 공정성 순위가 부여된다.
• 최근 평가에 더 높은 가중치를 주어 현재 성과를 반영하는 시간 인식 명성 함수를 도입한다.
• 모델은 평가의 수와 품질에 따라 명성 점수를 시간에 따라 적응적으로 조정하는 알고리즘을 사용한다.
• 높은 신뢰성을 가진 평가자가 명성 점수에 더 큰 영향을 미치는 신뢰성 기반 투표 메커니즘을 사용한다.
• 프레임워크는 평가 패턴의 이질성 탐지를 통해 고의적 공모 평가자와 표 투표를 탐지할 수 있도록 확장 가능하고 설계되어 있다.

실험 결과

연구 질문

• RQ1 평가자 신뢰성과 시간 요소를 통합함으로써 노동자 명성을 더 정확하게 계산할 수 있는 방법은 무엇인가?
• RQ2 제안된 모델은 eBay 및 PageRank와 같은 기존 시스템 대비 악성 또는 부정확한 평가자에 의해 조작되는 정도에 대해 어느 정도 저항력을 보일 수 있는가?
• RQ3 평가자에게 공정성 순위를 도입하면 명성 점수의 신뢰성이 향상되고 부정행위를 억제할 수 있는가?
• RQ4 모델은 평가 수가 적은 신규 노동자와 다수의 활동을 한 경험 많은 노동자에 대해 어떻게 명성 변화를 처리하는가?
• RQ5 작업 가치와 평가 시점은 최종 명성 점수에 어떤 영향을 미치는가?

주요 결과

• 실험적 검증에서 제안된 모델은 eBay 및 PageRank 모델 대비 명성 조작에 대해 뛰어난 강건성을 보였다.
• 모델은 특히 초기 명성 점수가 낮은 노동자에 대해 부정확한 평가를 효과적으로 탐지하고 가중치를 낮춘다.
• 경험 많은 노동자는 시간이 지남에 따라 다양한 신뢰할 수 있는 평가를 누적함으로써 더 안정적이고 정확한 명성 점수를 얻는다.
• 평가자에 대한 공정성 순위는 부정확한 투표를 하는 부정직한 평가자를 성공적으로 식별하고 그 영향력을 줄였다.
• 시간과 신뢰성 요소를 명성 계산에 통합함으로써 현재 성과를 반영하는 더 현실적이고 동적인 명성 점수가 도출되었다.
• 모델은 확장 가능하고 유연하며, 기존 크라우드소싱 플랫폼에 통합되어 신뢰성과 공정성을 향상시킬 잠재력이 있다.