[論文レビュー] Quality Control in Crowdsourcing: A Survey of Quality Attributes, Assessment Techniques and Assurance Actions

Florian Daniel, Pavel Kucherbaev+3 more|arXiv (Cornell University)|Jan 8, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 134被引用数 52

ひとこと要約

クラウドソーシングの品質モデルを定義し属性・評価方法・保証アクションを整理し、現在のプラットフォームと未解決の研究課題を分析する包括的なサーベイ。

ABSTRACT

Crowdsourcing enables one to leverage on the intelligence and wisdom of potentially large groups of individuals toward solving problems. Common problems approached with crowdsourcing are labeling images, translating or transcribing text, providing opinions or ideas, and similar - all tasks that computers are not good at or where they may even fail altogether. The introduction of humans into computations and/or everyday work, however, also poses critical, novel challenges in terms of quality control, as the crowd is typically composed of people with unknown and very diverse abilities, skills, interests, personal objectives and technological resources. This survey studies quality in the context of crowdsourcing along several dimensions, so as to define and characterize it and to understand the current state of the art. Specifically, this survey derives a quality model for crowdsourcing tasks, identifies the methods and techniques that can be used to assess the attributes of the model, and the actions and strategies that help prevent and mitigate quality problems. An analysis of how these features are supported by the state of the art further identifies open issues and informs an outlook on hot future research directions.

研究の動機と目的

• クラウドソーシング全体論に基づく品質管理を定義し分類する。
• 次元と属性を伴うクラウドソーシング品質モデルを提示する。
• 関係者およびプロセスにわたる品質属性を測定する評価方法を調査する。
• 品質問題を予防・緩和する保証アクションを特定する。
• 最新プラットフォームが品質管理をどのようにサポートしているかを分析し、今後の研究方向を概説する。

提案手法

• クラウドソーシングタスクの品質モデル、評価方法、保証アクションの三部構成の分類体系を開発する。
• 品質次元を Data, Task, People, Group と定義し、支援文献を用いてサブ属性を設定する。
• 評価技術を個人 (Individual)、グループ (Group)、計算ベース (Computation-based) のアクター別および方法別に分類する（評価、テスト、自己評価、など）。
• 2009年以降の主要な会議・ジャーナルを横断する広範な文献調査を統合して品質管理フレームワークを提示する。
• プラットフォームの実践を分析し、未解決の課題と将来の研究機会を特定する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングタスクおよびアウトプットに対して特定された品質属性は何か？
• RQ2 これらの品質属性を評価する方法は何があり、評価は誰が行うのか？
• RQ3 クラウドソーシングのワークフローで品質を改善または維持する保証アクションは何か？
• RQ4 現在のクラウドソーシングプラットフォームは品質管理をどのようにサポートしており、将来の課題はどこにあるか？

主な発見

• データ、タスク、Peopleのディメンションと対応する属性を備えたクラウドソーシングの総合的な品質モデル。
• 個人、グループ、計算ベースの技術を含む評価方法の分類体系。
• 識別された品質属性に対応する保証アクションのセットを提供し、品質問題を予防・緩解。
• データ品質属性（正確さと時機性など）が中心で、タスクの説明、UI、インセンティブ、条件が品質に影響するという証拠。
• ワーカーの評判、資格、および経験はワーカーの評価と選択の重要な要因。
• グループ品質の側面には可用性、多様性、非協力性が含まれ、全体的な出力品質に影響する。
• 現在のプラットフォームは品質サポートに差があり、堅牢な品質管理機構を統合する機会があることを強調する。