[論文レビュー] Crowdsourced Task Routing via Matrix Factorization

Hyun Joon Jung, Matthew Lease|arXiv (Cornell University)|Oct 18, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 17被引用数 8

ひとこと要約

本稿では、過去のパフォーマンスに基づいて、クラウドワーカーの新しいタスクにおける正確性を行列分解（MF）を用いて予測し、品質を向上させるために知的なタスクルーティングを実現する手法を提案する。特徴量表現を必要とせず、過去のパフォーマンスデータのみを用いて、特徴量分解（SVD）および確率的行列分解（PMF）を用いてタスクの類似性をモデル化することで、スパースなデータやスパムワーカーが存在する状況下でも、ベースライン手法を上回る正確性予測と上位ワーカーの特定が可能である。

ABSTRACT

We describe methods to predict a crowd worker's accuracy on new tasks based on his accuracy on past tasks. Such prediction provides a foundation for identifying the best workers to route work to in order to maximize accuracy on the new task. Our key insight is to model similarity of past tasks to the target task such that past task accuracies can be optimally integrated to predict target task accuracy. We describe two matrix factorization (MF) approaches from collaborative filtering which not only exploit such task similarity, but are known to be robust to sparse data. Experiments on synthetic and real-world datasets provide feasibility assessment and comparative evaluation of MF approaches vs. two baseline methods. Across a range of data scales and task similarity conditions, we evaluate: 1) prediction error over all workers; and 2) how well each method predicts the best workers to use for each task. Results show the benefit of task routing over random assignment, the strength of probabilistic MF over baseline methods, and the robustness of methods under different conditions.

研究の動機と目的

• MTurkのようなクラウドソーシングプラットフォームにおいて、ワーカーの自己選択がもたらす非効率なタスク割り当てという低品質作業の課題に対処すること。
• 特徴量表現を必要とせず、過去のパフォーマンスデータのみを用いて、新しいタスクにおけるワーカーの正確性を予測することで、タスクルーティングを改善すること。
• 行列分解手法が、データのスパarsityやタスクの類似性の変動にさらされても、ワーカーの正確性を頑健に予測し、上位パフォーマーを特定できるかを評価すること。
• スパムワーカーの存在が予測性能およびルーティング効果に与える影響を評価すること。
• ベースライン手法（平均値、加重平均）と比較して、MFに基づく手法（SVD、PMF）が、正確性予測および上位ワーカー特定の両面でどのように性能を発揮するかを比較すること。

提案手法

• 各エントリが、過去のタスクにおけるワーカーの観測された正確性（正解サンプルとの比較）を表すワーカー・タスク行列を構築する。
• 未観測のタスクにおけるワーカーの正確性を予測するために、特異値分解（SVD）および確率的行列分解（PMF）の2つの行列分解手法を適用する。
• 共通するワーカーのパフォーマンスパターンから得られるタスク類似度を活用し、過去のタスク正確性をより効果的に統合することで予測を改善する。
• ワーカー・タスクパフォーマンスを低ランク行列分解問題としてモデル化することで、スパースなデータでも頑健な予測が可能になる。
• 予測された正確性に基づいてワーカーをランク付けし、新しいタスクに割り当てる上位k名のパフォーマーを特定する。
• RMSEを用いて全体の正確性を、上位k名のワーカーの平均正確性を用いてルーティング効果を、正解と比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 タスクの類似性、行列サイズ、密度が、タスク間でのワーカー正確性予測における行列分解ベースの予測性能にどのように影響するか？
• RQ2 予測された上位k名のワーカーにタスクをルーティングすることは、ランダム割り当てを上回るか？この点において、PMFとSVDはベースライン手法と比較してどのように差を示すか？
• RQ3 スパムワーカーがワーカープールに存在する場合、MFベースの予測はどの程度頑健か？
• RQ4 予測誤差および上位ワーカー特定の正確性は、異なるデータスケールおよびタスク類似性の条件下でどのように変化するか？
• RQ5 実世界および合成データ環境において、PMFとSVD、およびベースライン手法（平均値、加重平均）の相対的性能はどのようになるか？

主な発見

• 特にPMFが顕著に予測誤差（RMSE）を低減する。RMSEはタスク類似度が高くなるにつれて減少する。
• 実際のMTurkデータ（443名のワーカー、3つのタスク）において、PMFはRMSE 0.211を達成し、SVD（0.170）およびランダム割り当て（0.317）を上回る性能を示した。
• 上位10名のワーカー特定（MA10）において、PMFは平均正確度0.773を達成し、ランダム割り当て（0.381）およびSVD（0.609）を大きく上回った。
• スパムワーカーが存在しても、上位正確性ワーカーと低パフォーマンスワーカーの区別が明確であるため、上位k名ワーカー特定の性能は依然として頑健である。
• kが増加するにつれて、PMFはSVDおよびベースライン手法（平均値、加重平均）を常に上回り、特に正確性の高いワーカーを特定する能力が優れている。
• 合成データおよび実世界データの両方において、kが増加するにつれてMA10が減少する傾向は一貫しており、モデルの実用的状況での信頼性を裏付けている。