[論文レビュー] Task Assignment on Spatial Crowdsourcing (Technical Report).

Peng Cheng, Xun Jian+1 more|arXiv (Cornell University)|May 31, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 22被引用数 5

ひとこと要約

本稿では、定義の統一、全アルゴリズムの均一な実装、および合成データおよび実データの両方を用いた評価を通じて、空間クラウドソーシングにおける既存のタスク割り当てアルゴリズムの包括的な実験的比較を提示する。主な貢献は、現在のアプローチの長所と短所を特定する体系的なパフォーマンス分析であり、今後の研究およびシステム設計を導くものである。

ABSTRACT

Recently, with the rapid development of mobile devices and the crowdsourcing platforms, the spatial crowdsourcing has attracted much attention from the database community. Specifically, spatial crowdsourcing refers to sending a location-based request to workers according to their positions, and workers need to physically move to specified locations to conduct tasks. Many works have studied task assignment problems in spatial crowdsourcing, however, their problem definitions are quite different from each other. As a result, there is no work to compare the performances of existing algorithms on task assignment in spatial crowdsourcing. In this paper, we present a comprehensive experimental comparison of most existing algorithms on task assignment in spatial crowdsourcing. Specifically, we first give some general definitions about spatial workers and spatial tasks based on definitions in the existing works studying task assignment problems in spatial crowdsourcing such that the existing algorithms can be applied on same synthetic and real data sets. Then, we provide a uniform implementation for all the algorithms of task assignment problems in spatial crowdsourcing. Finally, based on the results on both synthetic and real data sets, we conclude the strengths and weaknesses of tested algorithms, which can guide further researches on the same area and practical implementations of spatial crowdsourcing systems.

研究の動機と目的

• 既存の空間クラウドソーシングアルゴリズムにおける空間ワーカーおよびタスクの定義を標準化すること。
• 同じデータセット上で全アルゴリズムを均一に実装することで、公平かつ一貫した評価を可能にすること。
• 合成データおよび実世界の空間クラウドソーシングデータの両方において、既存のアルゴリズムのパフォーマンスを経験的に比較すること。
• 今後の研究および実践的システム開発を支援するため、各アルゴリズムの長所と短所を特定すること。

提案手法

• 過去の研究から共通する要素を抽出して、空間ワーカーおよびタスクを定義することで、アルゴリズム間の互換性を確保する。
• 全選択済みのタスク割り当てアルゴリズムを均一なフレームワークで実装することで、実装バイアスを排除する。
• 制御されたパラメータを有する合成データセットを生成し、異なる条件下でのアルゴリズムの挙動をテストする。
• 実世界の空間クラウドソーシングデータセットを用いて、実用的シナリオにおけるアルゴリズムのパフォーマンスを評価する。
• 割り当て品質や効率性といった主要な指標に基づいて、アルゴリズムの広範な比較実験を実施する。
• 結果を分析し、実用的導入文脈におけるアルゴリズム的トレードオフについて結論を導く。

実験結果

リサーチクエスチョン

• RQ1 標準化された定義と均一な実装のもとで、既存のタスク割り当てアルゴリズムはどのように性能を発揮するか？
• RQ2 合成データおよび実データの両方で評価された場合、異なるアルゴリズムの相対的な長所と短所は何か？
• RQ3 どのアルゴリズムが割り当て品質と計算効率の間で最もバランスの取れた性能を達成するか？
• RQ4 異なるデータ分布およびワークロード特性の下で、アルゴリズムの挙動はどのように変化するか？

主な発見

• タスク割り当てアルゴリズムのパフォーマンスは、データ特性やワークロードパターンに大きく依存する。
• 一部のアルゴリズムは高い割り当て品質を達成するが、その代わりに計算オーバーヘッドが増加する。
• 均一な実装により、従来の比較研究に見られる実装固有のバイアスが明らかになった。
• 実世界のデータセットでは、アルゴリズムの効率性とスケーラビリティが実用的導入において極めて重要であることが示された。
• 本研究では、解の品質と実行時間性能の間の具体的なアルゴリズム的トレードオフを同定した。
• 結果は、システム要件に応じたタスク割り当てアルゴリズムの選定または設計に役立つ実用的インサイトを提供する。