[論文レビュー] CDAS: A Crowdsourcing Data Analytics System

Xuan Liu, Meiyu Lu+4 more|arXiv (Cornell University)|Jun 30, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 17被引用数 40

ひとこと要約

CDAS は、人的要因による誤りやばらつきを考慮した品質感受性のある回答モデルを統合することで、人間を含むデータ分析における正確性とコストを最適化するクラウドソーシングデータ分析システムである。2段階のアプローチを採用しており、過去のパフォーマンスに基づいて必要な作業者数を予測し、オンライン投票による結果の検証を実施する。これにより、完全にアルゴリズムに依存する手法と比較して、高い正確性（例：95％以上）を実現しながらコストを削減することができる。

ABSTRACT

Some complex problems, such as image tagging and natural language processing, are very challenging for computers, where even state-of-the-art technology is yet able to provide satisfactory accuracy. Therefore, rather than relying solely on developing new and better algorithms to handle such tasks, we look to the crowdsourcing solution -- employing human participation -- to make good the shortfall in current technology. Crowdsourcing is a good supplement to many computer tasks. A complex job may be divided into computer-oriented tasks and human-oriented tasks, which are then assigned to machines and humans respectively. To leverage the power of crowdsourcing, we design and implement a Crowdsourcing Data Analytics System, CDAS. CDAS is a framework designed to support the deployment of various crowdsourcing applications. The core part of CDAS is a quality-sensitive answering model, which guides the crowdsourcing engine to process and monitor the human tasks. In this paper, we introduce the principles of our quality-sensitive model. To satisfy user required accuracy, the model guides the crowdsourcing query engine for the design and processing of the corresponding crowdsourcing jobs. It provides an estimated accuracy for each generated result based on the human workers' historical performances. When verifying the quality of the result, the model employs an online strategy to reduce waiting time. To show the effectiveness of the model, we implement and deploy two analytics jobs on CDAS, a twitter sentiment analytics job and an image tagging job. We use real Twitter and Flickr data as our queries respectively. We compare our approaches with state-of-the-art classification and image annotation techniques. The results show that the human-assisted methods can indeed achieve a much higher accuracy. By embedding the quality-sensitive model into crowdsourcing query engine, we effectiv...[truncated].

研究の動機と目的

• 人的誤りやばらつきが生じる中で、クラウドソーシングデータ分析における高い正確性を確保する課題に対処すること。
• ユーザーが指定した正確性の目標を達成するために必要な作業者の数を知的に推定することで、クラウドソーシングの処理コストを低減すること。
• 過去の作業者パフォーマンスとリアルタイムでの結果検証を活用して、動的にコストと品質のバランスを取るクエリエンジンの設計。
• 実際のデータを用いた実用的導入を可能にするために、感情分析や画像タグ付けといった複雑なタスクに対してクラウドソーシングを実装すること。

提案手法

• 品質感受性のある回答モデルを提案し、その2つのサブモデル（予測モデルと検証モデル）を含む。
• 過去の作業者パフォーマンスデータを用いて、ユーザーが指定した正確性の閾値を満たすために必要な作業者の数を推定する。
• タスク実行前に結果の正確性を予測する確率ベースのモデルを採用する。
• 段階的に結果を精査し、結果集約中の待機時間を短縮するオンライン検証戦略を適用する。
• コンピュータ処理と人的処理にタスクを分割するクラウドソーシングクエリエンジンにモデルを統合する。
• 作業者の割り当てと結果収集の基盤として、Amazon Mechanical Turk を使用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてクラウドソーシングシステムが、最小限のコストでターゲット正確性を達成するために必要な作業者の数を動的に推定できるか？
• RQ2 信頼性の低いまたは悪意ある人的作業者に対しても、結果の品質を保証するメカニズムは何か？
• RQ3 オンライン処理技術を用いることで、クラウドソーシング分析における応答時間を短縮しながら正確性を維持できるか？
• RQ4 画像タグ付けや感情分析といった複雑なタスクにおいて、人的支援による手法が、最先端のアルゴリズム的手法をどの程度上回れるか？

主な発見

• 品質感受性のあるモデルは、図18に示すように、すべてのテストケースでユーザーが指定した正確性要件を満たしており、実際の正確性が要件を満たすか、それを上回ることが確認された。
• システムは、過剰なリソース配分を避けながらも高い正確性を維持するため、必要な最小限の作業者数を知的に推定することで処理コストを削減した。
• 画像タグ付けのタスクでは、人間を支援とするアプローチが、最先端のアルゴリズム的手法である ALIPR を上回り、より高い正確性と低いコストを達成した。
• Twitterの感情分析では、少数の作業者で高い正確性（95％以上）を達成したため、実世界のデータに対する有効性が示された。
• オンライン検証戦略により、結果を段階的に更新することで待機時間が顕著に短縮され、ユーザーエクスペリエンスが向上した。
• システムは、実際のFlickrおよびTwitterデータを用いた2つの実世界の分析ジョブ（Twitterの感情分析と画像タグ付け）を成功裏にデプロイし、実用性を検証した。