[論文レビュー] "The Whole Is Greater Than the Sum of Its Parts": Optimization in Collaborative Crowdsourcing

Habibur Rahman, Senjuti Basu Roy+3 more|arXiv (Cornell University)|Feb 18, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 46被引用数 8

ひとこと要約

本稿は、作業者同士の親和性と上界臨界マスをモデル化することで、高い効果を持つチームを形成する、共同クラウドソーシングのための新規最適化フレームワークを提案する。2段階のアルゴリズム（Grp&Splt）を提案し、証明可能な近似保証を有する。実世界および合成実験において、ベースライン手法に比べて協働の質と効率に顕著な向上を示した。

ABSTRACT

In this work, we initiate the investigation of optimization opportunities in collaborative crowdsourcing. Many popular applications, such as collaborative document editing, sentence translation, or citizen science resort to this special form of human-based computing, where, crowd workers with appropriate skills and expertise are required to form groups to solve complex tasks. Central to any collaborative crowdsourcing process is the aspect of successful collaboration among the workers, which, for the first time, is formalized and then optimized in this work. Our formalism considers two main collaboration-related human factors, affinity and upper critical mass, appropriately adapted from organizational science and social theories. Our contributions are (a) proposing a comprehensive model for collaborative crowdsourcing optimization, (b) rigorous theoretical analyses to understand the hardness of the proposed problems, (c) an array of efficient exact and approximation algorithms with provable theoretical guarantees. Finally, we present a detailed set of experimental results stemming from two real-world collaborative crowdsourcing application us- ing Amazon Mechanical Turk, as well as conduct synthetic data analyses on scalability and qualitative aspects of our proposed algorithms. Our experimental results successfully demonstrate the efficacy of our proposed solutions.

研究の動機と目的

• 人間による計算タスクにおけるグループ作業と多様なスキルを要する協働を形式化し最適化すること。
• 作業者の親和性と上界臨界マスといった人間要因を、チーム編成のための原理的最適化モデルに統合すること。
• 問題の計算的に困難な性質に対処するため、グループ編成とグループ分割の2段階に分解すること。
• リアルタイム導入に適した理論的保証を備えた正確かつ近似アルゴリズムを設計すること。
• 複雑な非マイクロタスク型クラウドソーシング応用における実世界および合成実験を通じたアプローチの妥当性の検証。

提案手法

• 作業者をノードとし、エッジの重みを対象作業者間の対比較的親和性とする重み付きグラフとして共同クラウドソーシングをモデル化する。
• チームをグラフ内のクリークとして定義し、上界臨界マスおよびスキルカバレッジ要件によって制約を課す。
• 2段階のアプローチを提案：(1) Grpは、スキルおよびコスト制約を満たす高内部親和性グループの形成；(2) Spltは、相互親和性を最大化するようにグループを部分クリークに分割。
• Grp段階におけるインスタンス最適な正確アルゴリズム（OptGrp）と2近似アルゴリズム（ApprxGrp）を開発。
• 特定の問題バージョンにおいて3近似アルゴリズム（Min-Star-Partition）をSplt段階に導入。
• アマゾン・メカニカル・トゥーカーからの実データと合成データを用いて、スケーラビリティ、品質、効率性を評価。

実験結果

リサーチクエスチョン

• RQ1 作業者間の親和性と上界臨界マスを、共同クラウドソーシング最適化モデルに形式的に統合する方法は何か？
• RQ2 高親和性で、スキルに適合し、費用効果の良いチームを編成する問題の計算複雑性はどの程度か？
• RQ3 2段階の分解（Grp&Splt）は、理論的性能保証を伴う効率的かつ効果的なチーム編成を可能にするか？
• RQ4 提案されたアルゴリズムは、協働の質と実行時間効率の面でベースライン手法に比べてどのように差をつけるか？
• RQ5 実世界の共同タスクは、予算およびサイズ制約下で親和性に配慮したチーム編成によって、どの程度恩恵を受けるか？

主な発見

• 提案されたGrp&Spltフレームワークは、スキルおよびコスト制約を満たしつつ、内部および外部親和性を最大化することで、協働の質を顕著に向上させる。
• 2近似アルゴリズムApprxGrpは、グループ編成段階で近似的に最適な性能を達成し、保証された境界を有する。
• 3近似アルゴリズムMin-Star-Partitionは、大規模なチームを高相互親和性のサブグループに効果的に分割する。
• 実世界のタスク（例：ドキュメント編集、翻訳）における実験結果から、ベースライン手法に比べて協働の質に顕著な向上が確認された。
• 合成実験により、さまざまなデータサイズおよびパrameter設定において、提案アルゴリズムのスケーラビリティと頑健性が裏付けられた。
• 実証的検証により、上界臨界マスを超えると協働効果が低下するという仮説が支持され、グループ分割戦略の妥当性が裏付けられた。