[論文レビュー] Crowdsourcing Control: Moving Beyond Multiple Choice

Christopher H. Lin, Daniel S. Weld+1 more|arXiv (Cornell University)|Oct 16, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 19被引用数 34

ひとこと要約

本論文では、自由応答タスク（結果が事前に定義されていないタスク）のための意思決定理論的コントローラーであるLazySusanを提案する。これは、独創的な確率的グラフィカルモデルを用いて、動的にコローシャーイングワークフローを管理するものである。EMアルゴリズムを用いて、作業者の信頼性と正解を同時に学習し、SAT数学問題とビジュアライゼーションタスクにおけるライブMechanical Turk実験において、誤差を83.2％削減し、多数決投票よりもネットユーティリティを向上させた。

ABSTRACT

To ensure quality results from crowdsourced tasks, requesters often aggregate worker responses and use one of a plethora of strategies to infer the correct answer from the set of noisy responses. However, all current models assume prior knowledge of all possible outcomes of the task. While not an unreasonable assumption for tasks that can be posited as multiple-choice questions (e.g. n-ary classification), we observe that many tasks do not naturally fit this paradigm, but instead demand a free-response formulation where the outcome space is of infinite size (e.g. audio transcription). We model such tasks with a novel probabilistic graphical model, and design and implement LazySusan, a decision-theoretic controller that dynamically requests responses as necessary in order to infer answers to these tasks. We also design an EM algorithm to jointly learn the parameters of our model while inferring the correct answers to multiple tasks at a time. Live experiments on Amazon Mechanical Turk demonstrate the superiority of LazySusan at solving SAT Math questions, eliminating 83.2% of the error and achieving greater net utility compared to the state-ofthe-art strategy, majority-voting. We also show in live experiments that our EM algorithm outperforms majority-voting on a visualization task that we design.

研究の動機と目的

• 既存のコローシャーイングモデルが前提としている、事前に定義された結果空間の制限を解消すること。これは、主に選択肢付きのタスクに見られるが、自由応答の文脈では当てはまらない。
• 結果空間が無限大または非構造的である自由応答から、正解を推定できるシステムの開発。
• コストと誤差を最小限に抑えるために、いつ、どの作業者に問い合わせるべきかを動的に決定する意思決定理論的コントローラーの設計。
• スケーラブルでエンドツーエンドのフレームワーク内で、EMアルゴリズムを用いて作業者の信頼性と真の答えを同時に学習すること。

提案手法

• 自由応答タスクのための作業者の信頼性と応答の不確実性を捉える確率的グラフィカルモデルを提案する。
• 期待情報量とコストに基づいて最適なクエリを選択する意思決定理論的コントローラー（LazySusan）を設計する。
• EMアルゴリズムを用いて、複数のタスクを同時に処理しながら、作業者のパラメータを繰り返し推定し、正解を推定する。
• 離散的選択ではなく、連続的または構造的出力として応答をモデル化することで、テキストや音声などのオープンエンド入力を扱えるようにする。
• 新しい応答が収集されるたびに、正解に関する信念をベイズ推論で更新する。
• 作業者の品質推定とアクティブラーニングを統合し、重複したり価値が低い作業者のリクエストを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 動的でクエリ最適化されたコントローラーは、静的で多数決投票に比べて、自由応答タスクにおける正確性と効率性を向上させることができるか？
• RQ2 無限大の結果空間を持つオープンエンドタスクにおいて、作業者の信頼性と真の答えを同時に推定する方法は何か？
• RQ3 アクティブなクエリ選択は、コローシャーインフェレンスタスクにおける誤差とコストを低減するのにどのような影響を与えるか？
• RQ4 提案されたEMベースの学習フレームワークは、現実世界の複数の自由応答タスクに効果的にスケーリングできるか？

主な発見

• ライブMechanical Turk実験において、LazySusanは多数決投票と比較して、SAT数学問題で誤差を83.2％削減した。
• 不要な作業者リクエストを最小限に抑えることで、多数決投票よりも顕著に高いネットユーティリティを達成した。
• EMアルゴリズムは、独自に開発したビジュアライゼーションタスクにおいて、作業者のパラメータを正確に学習し、正解を高精度で推定できた。
• 事前に定義された答えのセットが不要な状態で、自由応答出力の不確実性を効果的にモデル化できた。
• テキストベースと視覚的推論タスクを含む多様なタスクタイプにわたり、強力な適応性を示した。
• 期待情報量に基づく動的クエリ選択が、受動的集約戦略に比べて優れたパフォーマンスをもたらすことが実証された。