[論文レビュー] Optimizing Open-Ended Crowdsourcing: The Next Frontier in Crowdsourced Data Management

Aditya Parameswaran, Akash Das Sarma+1 more|arXiv (Cornell University)|Oct 17, 2016

Mobile Crowdsensing and Crowdsourcing被引用数 9

ひとこと要約

この論文は、作業者が自由入力形式の回答を提供するオープンエンド型クラウドソーシングの最適化のための形式的フレームワークを導入する。アグリゲーション、品質推定、タスク設計の課題に対処し、相関のある判断の確率的モデリング、属性への階層的ドリルダウン、文字列アラインメントによる転写処理といった技術を提案。画像検出やテキスト転写といった実世界の応用において、単純な手法に比べ顕著な精度向上を達成した。

ABSTRACT

Crowdsourcing is the primary means to generate training data at scale, and when combined with sophisticated machine learning algorithms, crowdsourcing is an enabler for a variety of emergent automated applications impacting all spheres of our lives. This paper surveys the emerging field of formally reasoning about and optimizing open-ended crowdsourcing, a popular and crucially important, but severely understudied class of crowdsourcing---the next frontier in crowdsourced data management. The underlying challenges include distilling the right answer when none of the workers agree with each other, teasing apart the various perspectives adopted by workers when answering tasks, and effectively selecting between the many open-ended operators appropriate for a problem. We describe the approaches that we've found to be effective for open-ended crowdsourcing, drawing from our experiences in this space.

研究の動機と目的

• 実世界の応用で急速に普及しているにもかかわらず、研究がまだ十分に進んでいないオープンエンド型クラウドソーシングの最適化における重要なギャップを埋める。
• 一貫性のない、繰り返しのない自由入力形式の回答（例：転写、バウンディングボックス）を、多数の作業者から集約する課題を克服する。
• 過去の結果と作業者の行動に基づいて動的にタスクを選択するインテリジェントなワークフローを設計することで、データ品質を向上させ、コストを削減する。
• 非構造的で自由な人間の入力を効果的に活用し、現代の機械学習モデルに必要な細分化された高品質な学習データを実現する。
• 真偽値タスクにとどまらない、検出、クラスタリング、転写といった複雑な現実世界のデータ収集課題をサポートするよう、従来のクラウドソーシング最適化を拡張する。

提案手法

• 作業者の判断の相関を捉えるために、Plackett-Luceモデルを用いた確率的モデリングを提案し、独立した回答の仮定よりも精度を向上させる。
• 広い質問（例：「ミュージシャンを提供してください」）から始まり、特定の属性（例：「シカゴ在住のドラマー」）へと段階的に絞り込む階層的・ドリルダウン型のタスク選択手法を導入し、データスパarsityを低減する。
• バイオインフォマティクス分野の複数の文字列アラインメントアルゴリズムを応用し、複数の作業者からの自由入力形式の転写をアラインメントし、一貫性のあるマージを実現する。
• 意思決定理論的フレームワークを用いて動的タスクルーティングをガイドし、過去の結果と不確実性の低減に基づいて次の最良の質問を選択する。
• 外部ソース（例：テキスト検索エンジン）からの事前知識を統合し、クラウド支援検索ワークロードにおける検索とフィルタリングを支援する。
• 作業者が制限のない自由入力形式の回答を提供できるオープンエンド型オペレータを設計し、真偽値の代替手段に比べてより豊かなデータ収集を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一貫性のない自由入力形式の回答が多数存在する状況で、作業者からの非再帰的で一貫性のない回答を効果的にアグリゲートする方法は何か？
• RQ2 コストを最小限に抑えつつデータ品質を最大化するために、動的に最も情報価値の高いオープンエンド型タスクを選択する戦略は何か？
• RQ3 回答が独立でない場合に、作業者の判断の相関をどのようにモデリングし、活用できるか？
• RQ4 階層的・属性ベースのタスク分解は、データスパarsityの低減とカバレッジの向上にどのような影響を与えるか？
• RQ5 確率的モデリングと文字列アラインメント技術は、オープンエンド型転写タスクにおける精度向上に効果的に適応可能か？

主な発見

• 相関のある判断を扱うPlackett-Luceモデルは、バッチ処理タスクにおいて、独立した回答の仮定よりも顕著に精度を向上させた。
• 属性の組み合わせへの階層的ドリルダウンは、希少なエンティティの組み合わせのカバレッジ向上とデータスパarsityの低減に寄与した。
• 作業者による転写に文字列アラインメント技術を適用した結果、単純なマージ戦略に比べて顕著な精度向上が達成された。
• オープンエンド型クラウドソーシングワークフローの最適化により、同じコストで高品質なラベルデータが桁違いに増加し、機械学習モデルの性能が向上した。
• 最適な質問選択のNP困難性が形式的に証明されたが、実用的なドリルダウンアプローチが実際の現場で極めて有効であることが示された。
• オープンエンド型クラウドソーシングは、視覚や自然言語処理分野における現代の機械学習モデルの発展に不可欠な細分化された高品質な学習データを提供する。