[論文レビュー] An Analytic Approach to People Evaluation in Crowdsourcing Systems

Mohammad Allahbakhsh, Aleksandar Ignjatović+4 more|arXiv (Cornell University)|Nov 14, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 20被引用数 7

ひとこと要約

本論文は、タスクの価値、評価者の信頼性、評価時刻を組み込むことで、作業者評価の精度を向上させる分析的レピュテーションモデルを提案する。評価者の公平性をモデル化し、適応的重み付けを用いることで、eBay や PageRank と比較して不正評価に対してより高い耐性を示し、作業者および評価者両者のより正確で信頼性の高いレピュテーションスコアを保証する。

ABSTRACT

Worker selection is a significant and challenging issue in crowdsourcing systems. Such selection is usually based on an assessment of the reputation of the individual workers participating in such systems. However, assessing the credibility and adequacy of such calculated reputation is a real challenge. In this paper, we propose an analytic model which leverages the values of the tasks completed, the credibility of the evaluators of the results of the tasks and time of evaluation of the results of these tasks in order to calculate an accurate and credible reputation rank of participating workers and fairness rank for evaluators. The model has been implemented and experimentally validated.

研究の動機と目的

• クラウドソーシングプラットフォームにおける作業者および評価者の信頼できるレピュテーション評価の欠如を解決すること。
• eBay や PageRank のようなレピュテーションシステムにおいて、不正な評価を行う不誠実な評価者による操作を軽減すること。
• 評価者の信頼性、タスク価値、時間的ダイナミクスを考慮したレピュテーションモデルを構築し、正確性と公平性を向上させること。
• 誠実な評価を促進しバイアスを低減するため、評価者に対して公平性ランクを導入すること。
• 実験的評価を通じて、モデルのレピュテーション操作に対する耐性を検証すること。

提案手法

• 評価者の信頼性と評価時刻に基づく重み付けを用いて、タスクの成果の重み付き集約により作業者のレピュテーションを計算する。
• 評価者の過去の評価の整合性と公平性を分析することで評価者の信頼性を特定し、各評価者に公平性ランクを割り当てる。
• 時間に依存するレピュテーション関数を導入し、最近の評価に高い重みを付与することで、現在のパフォーマンスを反映させる。
• 評価の量と質に応じてレピュテーションスコアを動的に調整する適応的アルゴリズムを採用する。
• 信頼性に基づく投票メカニズムを用い、信頼性の高い評価者がレピュテーションスコアに大きな影響を与えるようにする。
• 異常検出による評価パターンの分析を通じて、共謀する評価者やボールトスティングを同定できるように、拡張可能で柔軟なフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 評価者の信頼性と時間的要因を組み込むことで、作業者のレピュテーションをどの程度正確に算出できるか？
• RQ2 eBay や PageRank などの既存システムと比較して、提案モデルが不正または悪意ある評価者による操作に対してどの程度耐性を示すか？
• RQ3 評価者に対する公平性ランクは、レピュテーションスコアの信頼性を向上させ、不誠実な行動を抑止できるか？
• RQ4 少ない評価履歴を持つ初心者作業者と、多数の活動履歴を持つ経験豊富な作業者に対して、モデルはどのようにレピュテーションを扱うか？
• RQ5 タスク価値と評価タイミングが最終的なレピュテーションスコアに及ぼす影響は何か？

主な発見

• 実験的検証において、eBay や PageRank モデルと比較して、提案モデルはレピュテーション操作に対して優れた耐性を示した。
• モデルは不正評価を効果的に検出し、特に初期レピュテーションが低い作業者に対してその影響を軽減した。
• 経験豊富な作業者は、時間の経過とともに多様で信頼性の高い評価が蓄積されることで、より安定的かつ正確なレピュテーションスコアを得た。
• 評価者に対する公平性ランクは、偏った投票を行う不誠実な評価者の影響を効果的に特定し、低減した。
• 時間的要因と信頼性の統合により、現在のパフォーマンスを反映するより現実的で動的なレピュテーションスコアが得られた。
• モデルはスケーラブルかつ適応可能であり、既存のクラウドソーシングプラットフォームへの統合が可能で、信頼性と公平性の向上に貢献する。