[论文解读] An Analytic Approach to People Evaluation in Crowdsourcing Systems

Mohammad Allahbakhsh, Aleksandar Ignjatović+4 more|arXiv (Cornell University)|Nov 14, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 20被引用 7

一句话总结

本文提出了一种用于众包系统的分析性声誉模型，通过整合任务价值、评估者可信度和评估时间，改进了对工作者声誉的评估。通过建模评估者的公平性并采用自适应加权方法，该方法相比eBay和PageRank在抵御不公平评估方面表现出更强的鲁棒性，从而确保了对工作者和评估者声誉评分的更高准确性和可信度。

ABSTRACT

Worker selection is a significant and challenging issue in crowdsourcing systems. Such selection is usually based on an assessment of the reputation of the individual workers participating in such systems. However, assessing the credibility and adequacy of such calculated reputation is a real challenge. In this paper, we propose an analytic model which leverages the values of the tasks completed, the credibility of the evaluators of the results of the tasks and time of evaluation of the results of these tasks in order to calculate an accurate and credible reputation rank of participating workers and fairness rank for evaluators. The model has been implemented and experimentally validated.

研究动机与目标

• 解决众包平台中对工作者和评估者缺乏可靠声誉评估的问题。
• 缓解不诚实评估者通过不公平投票进行操纵的问题，尤其是在eBay和PageRank等声誉系统中。
• 开发一种综合评估者可信度、任务价值和时间动态因素的声誉模型，以提高准确性和公平性。
• 为评估者引入公平性排名，以激励诚实评估并减少偏见。
• 通过实验评估验证该模型对声誉操纵的鲁棒性。

提出的方法

• 该模型通过加权聚合任务结果来计算工作者声誉，其中权重由评估者的可信度和评估时间决定。
• 评估者可信度通过分析其过往评估的一致性和公平性来确定，并为每位评估者分配一个公平性排名。
• 引入一种时间感知的声誉函数，以赋予近期评估更高的权重，反映当前表现。
• 该模型采用自适应算法，根据评估的数量和质量随时间的变化动态调整声誉分数。
• 采用基于可信度的投票机制，使可信度较高的评估者对声誉分数具有更大的影响力。
• 该框架具有可扩展性，旨在通过评估模式中的异常检测来识别串通评估者和票数操纵行为。

实验结果

研究问题

• RQ1 如何通过整合评估者可信度和时间因素，更准确地计算工作者声誉？
• RQ2 与eBay和PageRank等现有系统相比，所提出的模型在多大程度上能抵抗不公平或恶意评估者的操纵？
• RQ3 为评估者引入公平性排名是否能提高声誉评分的可靠性并抑制不诚实行为？
• RQ4 该模型如何处理仅有少量评估记录的新手工作者与拥有大量活动经验的资深工作者的声誉变化？
• RQ5 任务价值和评估时间对最终声誉评分有何影响？

主要发现

• 实验验证表明，所提出的模型在抵御声誉操纵方面优于eBay和PageRank模型。
• 该模型能有效检测并降低不公平评估的影响，尤其对初始声誉较低的工作者尤为显著。
• 资深工作者因长期积累多样且可信的评估，其声誉评分更加稳定和准确。
• 评估者的公平性排名成功识别并降低了不诚实评估者（其投票存在偏见）的影响。
• 在声誉计算中整合时间与可信度，使声誉评分更具现实感和动态性，能够真实反映当前表现。
• 该模型具有可扩展性和适应性，具备集成到现有众包平台的潜力，可显著提升信任度与公平性。