[論文レビュー] Optimization in Knowledge-Intensive Crowdsourcing

Senjuti Basu Roy, Ioanna Lykourentzou+3 more|arXiv (Cornell University)|Jan 7, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 27被引用数 17

ひとこと要約

SmartCrowdは、熟練度、報酬期待、タスク受諾確率などの人的要因をモデル化することで、知識集約型クラウドソーシングにおけるワーカーからタスクへの割り当て最適化のためのフレームワークを提案する。事前インデックス化され、適応的に維持されるC-dex構造を用いることで、理論的保証と実証的妥当性を備えた効率的で高品質なタスク割り当てを実現する。

ABSTRACT

We present SmartCrowd, a framework for optimizing collaborative knowledge-intensive crowdsourcing. SmartCrowd distinguishes itself by accounting for human factors in the process of assigning tasks to workers. Human factors designate workers' expertise in different skills, their expected minimum wage, and their availability. In SmartCrowd, we formulate task assignment as an optimization problem, and rely on pre-indexing workers and maintaining the indexes adaptively, in such a way that the task assignment process gets optimized both qualitatively, and computation time-wise. We present rigorous theoretical analyses of the optimization problem and propose optimal and approximation algorithms. We finally perform extensive performance and quality experiments using real and synthetic data to demonstrate that adaptive indexing in SmartCrowd is necessary to achieve efficient high quality task assignment.

研究の動機と目的

• 共同知識創出を要する知識集約型クラウドソーシング（KI-C）において、高品質で費用対効果に優れたワーカー-タスク割り当てが最適化されていないという課題に対処する。
• 熟練度、コスト制約、熟練度、報酬、受諾確率といった人的要因を考慮した最適化問題として、ワーカーからタスクへの割り当て問題を形式化する。
• 実時間での割り当てを効率的に行い、品質とコストの目的を維持できるように、事前インデックス化メカニズム（C-dex）を設計する。
• ワーカーの参加・退去・プロファイル変更といった動的環境に適応可能であり、割り当て済みワーカーの強制中止を回避する。
• 最適および近似アルゴリズムを提供し、理論的保証（NP完全性、劣微分性、単調性）を含む、特定の条件下での保証を提供する。

提案手法

• 品質のしきい値を満たし、コスト制限内に収まり、ワーカーの過剰・不足利用を避けるという目的をもつ、制約付き最適化問題としてKI-Cの割り当てを定式化する。
• C-dexを導入し、熟練度プロファイルと報酬期待に基づいてワーカーを組織化することで、割り当て意思決定を高速化するインデックス構造を提供する。
• 確率的モデリングを用いて、実世界の不確実性を反映するためのワーカー受諾率を最適化に組み込む。
• 静的条件下でのC-dex構築および保守に、整数線形プログラミング（ILP）を用いた最適解を提示する。
• 2つの近似戦略を設計する：多項式時間計算量と定数近似比を有するグリーディアルゴリズム、および類似ワーカーを「仮想ワーカー」にクラスタリングすることで効率を向上させるC-dex+。
• 動的変化（ワーカーの利用可能状況、プロファイル、タスクの到着）に対応するため、適応的インデックス保守を実装する。この際、割り当て済みワーカーの強制中止は行わない。

実験結果

リサーチクエスチョン

• RQ1 知識集約型クラウドソーシングにおけるワーカーからタスクへの割り当てを、複数の人的要因を考慮した最適化問題として形式的にどのようにモデル化できるか？
• RQ2 C-dexインデックス設計問題の計算量的複雑性は何か？理論的保証のもとで効率的に解けるか？
• RQ3 事前インデックス化（C-dex）は、実時間最適化と比較して、タスク割り当ての効率性と品質をどの程度向上させるか？
• RQ4 動的ワーカーおよびタスク環境下での近似アルゴリズム（グリーディ法とC-dex+）の性能と品質のトレードオフは何か？
• RQ5 適応的インデックス保守は、変動が激しく、現実のクラウドソーシング環境において、割り当ての品質と効率をどの程度維持できるか？

主な発見

• C-dexインデックス設計問題は、多重ナップサック問題への還元によってNP完全であると証明された。これにより、コア最適化タスクの計算的困難性が確立された。
• C-dex構造により、事前にワーカーとタスクの適合性を計算することで、実時間計算時間を大幅に削減し、高品質な割り当てを維持する。
• C-dex用グリーディ近似アルゴリズムは、特定の条件下で定数近似比を達成し、最適でないものの理論的性能境界を保証する。
• C-dex+は、類似ワーカーを仮想ワーカーにクラスタリングすることで、標準C-dexを上回る性能を発揮し、インデックスサイズを削減し、品質損失を最小限に抑えつつスケーラビリティを向上させる。
• 改良型Amazon Mechanical Turk環境で実際のワーカーを用いた広範な実験により、SmartCrowdは動的条件下でも高いタスク品質を維持しており、負荷や受諾率の変動に関わらず性能が安定していることが示された。
• シミュレーション結果から、適応的インデックス保守が不可欠であることが確認された。静的インデックスでは、ワーカーの利用可能状況やプロファイルの変化に対応できず、性能と品質が劣化する。