[論文レビュー] Analytic Methods for Optimizing Realtime Crowdsourcing

Michael S. Bernstein, David R. Karger+2 more|arXiv (Cornell University)|Apr 13, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 6被引用数 65

ひとこと要約

本稿では、待ち行列理論を用いた解析的フレームワークを提案し、リアルタイムのクラウドソーシングを最適化することで、リクエスターのコストを最小限に抑えつつ、パフォーマンス目標を達成する。3つの主な改善策—リテンヤー契約、共有リテンヤー・プール、事前募集—を導入することで、中央値応答時間を500ミリ秒まで短縮し、ユーザーのフローを阻害する1秒未満の認知的閾値を突破した。

ABSTRACT

Realtime crowdsourcing research has demonstrated that it is possible to recruit paid crowds within seconds by managing a small, fast-reacting worker pool. Realtime crowds enable crowd-powered systems that respond at interactive speeds: for example, cameras, robots and instant opinion polls. So far, these techniques have mainly been proof-of-concept prototypes: research has not yet attempted to understand how they might work at large scale or optimize their cost/performance trade-offs. In this paper, we use queueing theory to analyze the retainer model for realtime crowdsourcing, in particular its expected wait time and cost to requesters. We provide an algorithm that allows requesters to minimize their cost subject to performance requirements. We then propose and analyze three techniques to improve performance: push notifications, shared retainer pools, and precruitment, which involves recalling retainer workers before a task actually arrives. An experimental validation finds that precruited workers begin a task 500 milliseconds after it is posted, delivering results below the one-second cognitive threshold for an end-user to stay in flow.

研究の動機と目的

• リアルタイムクラウドソーシングシステムにおけるスケーラブルなコスト/パフォーマンス最適化の欠如に対処すること。
• リテンヤー基づくリクルートメント・システムを待ち行列理論でモデル化し、待機時間とコストの正確な予測を可能にすること。
• リクエスターのコストを最小限に抑えつつ、最大期待待機時間などのパフォーマンス制約を満たすアルゴリズムを開発すること。
• リテンヤー・モデルの評価と改善を目的とした3つの新技術—リテンヤー契約、共有リテンヤー・プール、事前募集—を提案すること。
• 実証的に、事前募集が1秒未満の応答時間を実現できることを検証し、ユーザー参加の認知的閾値を満たすことを確認すること。

提案手法

• タスク到着レートとワーカー・プールのサイズに基づき、期待待機時間とコストを分析するため、リテンヤー・システムをM/M/cキューとしてモデル化する。
• リクエスターの最大期待待機時間またはリクエストを逃す確率を満たす最小のリテンヤー・プールサイズを計算する最適化アルゴリズムを導出する。
• ワーカーがプッシュ通知にオプトインできるリテンヤー契約を導入し、リクルートメントの遅延を低減する。
• 複数のリクエスター間でリテンヤー・プールを共有することで、利用効率を向上させ、個々のコストと待機時間を削減する。
• タスク到着の数ミリ秒前からリテンヤーのワーカーを再起動する「事前募集」戦略を開発し、応答時間を著しく短縮する。
• 待機期間中の実際のワーカーの離脱行動をキューイング・モデルに統合し、現実世界の行動を反映する。

実験結果

リサーチクエスチョン

• RQ1 リクエスターのパフォーマンス要件（例：最大期待待機時間）を満たしつつコストを最小限に抑える最適なリテンヤー・プールサイズは何か？
• RQ2 リテンヤー契約、共有プール、および事前募集は、応答時間とコストの観点からリテンヤー・モデルのパフォーマンスをどのように向上させるか？
• RQ3 事前募集により、応答時間がユーザーのフローを阻害する1秒未満の認知的閾値を下回るか？
• RQ4 ワーカーの再起動遅延がシステムパフォーマンスに与える影響は何か？また、待ち行列フレームワーク内で効果的にモデル化可能か？
• RQ5 待ち行列モデルとレピュテーションシステムを統合することで、ワーカーの対応性と信頼性にどのような影響があるか？

主な発見

• 事前募集により中央値応答時間が500ミリ秒まで短縮され、ユーザーのフローを阻害する1秒未満の認知的閾値を著しく下回った。
• 事前募集なしでは、標準的なリテンヤー・モデルにおける中央値応答時間は1.36秒であり、事前募集による45％の改善が確認された。
• 事前募集を施したリテンヤー・モデルは中央値応答時間を0.5秒にまで短縮し、実際の現場で1秒未満のパフォーマンスが達成可能であることを示した。
• 実証的評価では、待機時間とマウス移動遅延の間にほとんど相関がない（R² = 0.001）ことが判明し、待機期間が長くてもワーカーの反応速度は一貫していることが示された。
• 共有リテンヤー・プールとリテンヤー契約は、リクルートメント効率とワーカーの可用性の向上により、期待待機時間とコストの両方を削減した。
• キューイング・モデルはパフォーマンスのトレードオフを正確に予測でき、リクエスターがコストとパフォーマンス制約に基づき最適なプールサイズを選択できるようにした。