[論文レビュー] It's about time: Online Macrotask Sequencing in Expert Crowdsourcing

Heinz Schmitz, Ioanna Lykourentzou|arXiv (Cornell University)|Jan 15, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 29被引用数 4

ひとこと要約

本稿は、エキスパート・クラウドソーシングにおけるタスク割り当てとスケジューリング（TAS）問題を提示し、将来の作業者稼働状況が不明な状況下でも、時間的制約、締切、予算制約の下でマクロタスクの割り当てとスケジューリングを最適化するオンラインアルゴリズム「tas-online」を提案する。未来の入力情報がなくても、オフラインベンチマークより高いジョブ完了率、低いフローファイムタイム、および向上した品質を達成している。

ABSTRACT

We introduce the problem of Task Assignment and Sequencing (TAS), which adds the timeline perspective to expert crowdsourcing optimization. Expert crowdsourcing involves macrotasks, like document writing, product design, or web development, which take more time than typical binary microtasks, require expert skills, assume varying degrees of knowledge over a topic, and require crowd workers to build on each other's contributions. Current works usually assume offline optimization models, which consider worker and task arrivals known and do not take into account the element of time. Realistically however, time is critical: tasks have deadlines, expert workers are available only at specific time slots, and worker/task arrivals are not known a-priori. Our work is the first to address the problem of optimal task sequencing for online, heterogeneous, time-constrained macrotasks. We propose tas-online, an online algorithm that aims to complete as many tasks as possible within budget, required quality and a given timeline, without future input information regarding job release dates or worker availabilities. Results, comparing tas-online to four typical benchmarks, show that it achieves more completed jobs, lower flow times and higher job quality. This work has practical implications for improving the Quality of Service of current crowdsourcing platforms, allowing them to offer cost, quality and time improvements for expert tasks.

研究の動機と目的

• タスクの締切や作業者の稼働状況といった時間的制約を組み込んだエキスパート・クラウドソーシング最適化におけるギャップを埋めること。
• 将来の作業者およびタスクの到着情報が不明な状況下で、オンラインで定式化・解法可能なタスク割り当てとスケジューリング（TAS）問題をモデル化すること。
• 予算、品質、タイムライン制約の下で完了ジョブ数を最大化するオンラインアルゴリズムを設計すること。
• シミュレーションおよび実世界の設定において、tas-onlineの性能をオフラインおよびオンラインベンチマークと比較評価すること。
• 最適化されたスケジューリングを通じて、エキスパート・クラウドソーシングプラットフォームにおけるサービス品質（QoS）を向上させる実用的フレームワークを提供すること。

提案手法

• 時間的制約の下で作業者割り当てとスケジューリングを統合する strongly NP-hard 最適化問題としてTAS問題を形式化する。
• 1日ごとの作業者-タスクマッチングを、単位容量を持つ最小費用フロー網を用いて計算するグリーディーなオンラインアルゴリズム「tas-online」を提案する。これにより、1人の作業者1時間に1回の割り当てを保証する。
• 作業者とタスクをノードとし、専門性と稼働状況に基づく妥当な割り当てをエッジで表す二部グラフモデルを用いる。
• 将来の情報が不明な状況下で、現在の稼働状況とタスクのリリース日を基に、動的に作業者をタスクに割り当てる日次マッチング手順を適用する。
• 最小費用フロー定式化における重み付きマッチング機構を用い、予算およびタイムライン制約の下で、専門性が高く品質の高い割り当てを優先する。
• 動的専門性の更新、品質集約メカニズム、および緩和された割り当て制約（例：1日あたり複数タスクへの割り当て可）などの変更可能なコンponentsを備え、拡張性を支援する。

実験結果

リサーチクエスチョン

• RQ1 時間的制約および将来の入力情報が不明な状況下で、エキスパート・クラウドソーシングにおけるタスク割り当てとスケジューリングをどのように共同最適化できるか？
• RQ2 将来のタスクおよび作業者データが不明な状況下で、オンラインアルゴリズムがオフラインベンチマークを上回るジョブ完了率、フローファイムタイム、品質を達成できるか？
• RQ3 締切や作業者稼働状況といったタイムライン制約を組み込むことで、エキスパート・クラウドソーシングシステムのパフォーマンスにどのような影響を与えるか？
• RQ4 実世界およびシミュレーション環境下でのエキスパート・クラウドソーシングワークロードにおいて、tas-onlineは標準のオンラインおよびオフラインベンチマークと比べてどのように差をつけるか？
• RQ5 学習ベースの専門性の進化や1日あたり複数タスクへの割り当てといった、現実世界のシナリオへの適応性を高めるために、TASモデルにどのような拡張を施せるか？

主な発見

• tas-onlineは、理論的上限値に対して絶対的および相対的両面で、4つのベンチマークアルゴリズムよりも顕著に高いジョブ完了数を達成している。
• すべてのベンチマークと比較して、タスクリリースから最終的な割り当てまでの平均フローファイムタイムが短く抑えられており、タスクの迅速な解決が実現されている。
• tas-onlineは、予算制約下でも、競合手法よりも優れた予算活用効率を示しており、同じ予算内でより多くのジョブを完了している。
• tas-onlineによる完了ジョブの品質は高く、唯一、オフライン版アルゴリズムと同等の水準に達しており、オンライン制約下でも優れたパフォーマンスを発揮している。
• 実世界の実験においても、品質集約が固定指標ではなくクラウド評価に基づく場合でも、baselinesを上回るジョブ完了率と品質を達成している。
• オンラインで段階的に更新する設計のおかげで、作業者の専門性の変化やタスクの時間的可変性といった動的状況に対しても、安定した性能を維持している。