[論文レビュー] Finish Them!: Pricing Algorithms for Human Computation

Yihan Gao, Aditya Parameswaran|arXiv (Cornell University)|Aug 27, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用数 8

ひとこと要約

本稿では、マーカフ・意思決定過程（MDP）および線形計画法を用いて、締切制約下でのコスト最小化または予算制約下での遅延最小化を目的とした、クラウドソーシングプラットフォームにおける人間計算タスクの動的価格設定アルゴリズムを提案する。静的価格戦略と比較して最大30％のコスト削減を達成しつつ、推定誤差に対しても頑健性を保つ。

ABSTRACT

Given a batch of human computation tasks, a commonly ignored aspect is how the price (i.e., the reward paid to human workers) of these tasks must be set or varied in order to meet latency or cost constraints. Often, the price is set up-front and not modified, leading to either a much higher monetary cost than needed (if the price is set too high), or to a much larger latency than expected (if the price is set too low). Leveraging a pricing model from prior work, we develop algorithms to optimally set and then vary price over time in order to meet a (a) user-specified deadline while minimizing total monetary cost (b) user-specified monetary budget constraint while minimizing total elapsed time. We leverage techniques from decision theory (specifically, Markov Decision Processes) for both these problems, and demonstrate that our techniques lead to upto 30\% reduction in cost over schemes proposed in prior work. Furthermore, we develop techniques to speed-up the computation, enabling users to leverage the price setting algorithms on-the-fly.

研究の動機と目的

• 人間計算におけるシステム的な価格戦略の欠如に起因する、クラウドソーシングワークフローにおけるコストと遅延のバランスを改善すること。
• ユーザーが指定した締切を満たしつつ、合計金銭的コストを最小化するように、時間経過に伴いタスク価格を動的に調整するアルゴリズムの開発。
• 固定された金銭的予算制約下で合計タスク完了時間を最小化する価格戦略の設計。
• タスク実行中のリアルタイムでの価格意思決定が可能であるよう、計算効率の確保。
• 市場ダイナミクスおよびタスクパラメータの不完全な推定値下でのアルゴリズムの頑健性の評価。

提案手法

• 固定された締切下でのコスト最小化を最適化するため、タスク価格設定をマーカフ・意思決定過程（MDP）として形式化し、タスク完了レートを非定常ポアソン過程としてモデル化する。
• 意思決定理論的手法を用いて、リアルタイムのタスク取得レートと残り時間に応じて適応する最適な価格軌道を計算する。
• 既知のタスク完了ダイナミクスを仮定して、固定予算制約下での遅延最小化の双対問題を解くために線形計画法を適用する。
• MDPに基づく価格意思決定の複雑さを軽減するため、状態の集約化や価値関数の近似といった計算最適化を実装する。
• 事前研究で提示された非定常ポアソン過程によるタスク完了遅延のモデル化を活用し、価格応答ダイナミクスを支援する。
• 価格パスの非効率な選択肢の pruning や、逐次的再計算といった高速化技術を導入し、実時間での価格調整を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間経過に伴う動的価格調整は、人間計算ワークロードにおいて厳格な締切を満たしつつ、金銭的コストを削減できるか？
• RQ2 現実の市場環境下で、動的価格設定は静的価格設定と比較して、コストおよび遅延の観点でどのように異なるか？
• RQ3 固定された金銭的予算下で、価格戦略を最適化することで合計タスク完了時間を最小化できるか？
• RQ4 推定されたタスク完了レートや市場ダイナミクスの不正確さに対して、提案された価格設定アルゴリズムはどの程度頑健か？
• RQ5 生産的なクラウドソーシングシステムでのリアルタイム配備を可能にするために、どのような計算最適化が必要か？

主な発見

• 提案されたMDPベースの動的価格設定アルゴリズムは、実世界のクラウドソーシングデータ上で、従来の静的価格戦略と比較して合計コストを最大30％削減した。
• 特に高リスク・時間的に敏感なワークロードにおいて、先行研究のバイナリサーチベース価格戦略と比較して顕著に優れた性能を示した。
• 予算制約下のシナリオでは、線形計画法ベースのアプローチがほぼ最適な遅延削減を達成し、コスト上限下でも動的価格設定の有効性を裏付けた。
• タスク完了レートや市場パラメータの推定誤差に対しても、アルゴリズムは推定誤差の程度に関わらず強く性能を維持し、不確実性の高い状況下でも優れた性能を発揮した。
• 計算最適化により、リアルタイムでの価格意思決定が可能となり、本システムは実際のクラウドソーシングプラットフォームへの導入に適したものとなった。
• 実市場でのライブ実験により、シミュレーション結果が妥当であることが確認され、動的価格設定の実用的妥当性とコスト削減効果が実証された。