[論文レビュー] Budget-Optimal Task Allocation for Reliable Crowdsourcing Systems

David R. Karger, Sewoong Oh+1 more|arXiv (Cornell University)|Oct 17, 2011

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用数 24

ひとこと要約

本稿は、信念伝播と低ランク行列近似を活用して作業者応答から正解を推定することで、信頼性の高いクラウドソーシングのための非適応的で予算最適なタスク割り当てアルゴリズムを提案する。作業者が一時的で信頼性が低い状況下でも、この手法はオーダー最適であることが示され、コストが定数倍増加するにとどまり、オラクルに近い性能を達成する。また、適応的タスク割り当てがコストスケーリングにおいて漸近的な利点をもたらさないことも示している。

ABSTRACT

Crowdsourcing systems, in which numerous tasks are electronically distributed to numerous "information piece-workers", have emerged as an effective paradigm for human-powered solving of large scale problems in domains such as image classification, data entry, optical character recognition, recommendation, and proofreading. Because these low-paid workers can be unreliable, nearly all such systems must devise schemes to increase confidence in their answers, typically by assigning each task multiple times and combining the answers in an appropriate manner, e.g. majority voting. In this paper, we consider a general model of such crowdsourcing tasks and pose the problem of minimizing the total price (i.e., number of task assignments) that must be paid to achieve a target overall reliability. We give a new algorithm for deciding which tasks to assign to which workers and for inferring correct answers from the workers' answers. We show that our algorithm, inspired by belief propagation and low-rank matrix approximation, significantly outperforms majority voting and, in fact, is optimal through comparison to an oracle that knows the reliability of every worker. Further, we compare our approach with a more general class of algorithms which can dynamically assign tasks. By adaptively deciding which questions to ask to the next arriving worker, one might hope to reduce uncertainty more efficiently. We show that, perhaps surprisingly, the minimum price necessary to achieve a target reliability scales in the same manner under both adaptive and non-adaptive scenarios. Hence, our non-adaptive approach is order-optimal under both scenarios. This strongly relies on the fact that workers are fleeting and can not be exploited. Therefore, architecturally, our results suggest that building a reliable worker-reputation system is essential to fully harnessing the potential of adaptive designs.

研究の動機と目的

• タスク割り当ての総コスト（数）を最小化しつつ、所定の信頼性水準を達成すること。
• 作業者が特定不能かつ再利用不可であるにもかかわらず、作業者信頼性と一時性を考慮した有効なタスク割り当ておよび推論方式の開発。
• 非適応的および適応的タスク割り当て戦略を比較し、動的割り当てが漸近的コスト利点をもたらすかどうかを検証すること。
• 推定された信頼性に基づいて作業者応答に重みを付ける推論アルゴリズムの設計により、単純な過半数投票を上回る精度の向上を実現すること。
• 理論的最適性を確立し、作業者信頼性の完全な知識を持つオラクルと比較しても、提案手法が理論的最小コストの定数倍の範囲内に収束することを証明すること。

提案手法

• 各作業者がタスクに依存しない信頼性パラメータを持ち、誤差を確率的に発生させる確率的モデルを用いてクラウドソーシング問題を形式化する。
• 作業者による応答行列の低ランク行列近似を用いて、真のラベルと作業者信頼性の推定を可能にする。
• 応答間の相互整合性に基づき、信念伝播を用いてタスクラベルおよび作業者信頼性に関する信念を反復的に更新する。
• 事前応答情報が得られない状況下でバッチ形式でタスクを割り当てる非適応的タスク割り当て戦略を設計し、コストと信頼性の最適化を図る。
• 集中不等式およびジェンセンの不等式を用いて、所定の誤差率を達成するための作業者数の下界を導出する。
• 一時的作業者を仮定した下で、提案手法のコストスケーリングが理論的最小値と一致することを証明する。

実験結果

リサーチクエスチョン

• RQ1 信頼性が低く一時的な作業者が存在するクラウドソーシングシステムにおいて、非適応的タスク割り当て戦略が最適な適応的戦略のコスト性能を定数倍以内に抑えることができるか。
• RQ2 信念伝播と低ランク行列近似を用いることで、作業者ノイズの存在下で過半数投票を上回る推論精度をどの程度向上できるか。
• RQ3 作業者信頼性が未知である場合でも、適応的タスク割り当てによって克服できない、根本的なコストスケーリングの限界が存在するか。
• RQ4 真の作業者信頼性をすべて把握するオラクルと比較して、提案手法の性能はどの程度か。
• RQ5 作業者信頼性推定が、所定の誤差率を達成するために必要な総タスク割り当て数を最小化する役割を果たすか。

主な発見

• 提案手法は過半数投票に比べてコスト効率が著しく高く、より少ないタスク割り当てで高い信頼性を達成する。
• アルゴリズムはオーダー最適である：理論的最小コストに比べて定数倍の割増しにとどまり、オラクルに比べて同様の性能を達成する。
• 驚くべきことに、適応的タスク割り当ては漸近的コストスケーリングを改善しない。非適応的および適応的両ケースで最小コストのスケーリングは同一である。
• コストスケーリングは作業者の一時性と再利用不可能性によって根本的に制限されており、適応的設計が有効であるためには作業者レピュテーションシステムが不可欠である。
• あるフェーズ遷移が $\hat{\ell}\hat{r}q^2 = 1$ で観測され、それより下ではいかなるアルゴリズムも過半数投票を上回れないことが示され、情報理論的限界が存在することが示唆される。
• ジェンセンの不等式およびチェルノフの不等式を用いて導出された理論的下界は、必要な作業者数が所望の誤差率に対して対数的にスケーリングされ、作業者品質 $q$ に依存する定数因子を伴うことを確認している。