[論文レビュー] A Technical Survey on Statistical Modelling and Design Methods for Crowdsourcing Quality Control

Yuan Jin, Mark Carman+2 more|arXiv (Cornell University)|Dec 5, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 127被引用数 5

ひとこと要約

本稿は、クラウドソーシングの品質管理における統計的モデリングとメカニズム設計を統合的に調査する包括的な技術的サーベイを提示している。これは、従来別々に研究されてきた二つの分野を橋渡しするものである。統計的推論とインcentiveメカニズムを統合したフレームワークを導入し、主観性に配慮したモデリング、マルチクラス／ラベル処理、報酬およびゲーム化設計の実証的検証に関する分類体系と技術的関連性、および未解決の課題を提示している。

ABSTRACT

Online crowdsourcing provides a scalable and inexpensive means to collect knowledge (e.g. labels) about various types of data items (e.g. text, audio, video). However, it is also known to result in large variance in the quality of recorded responses which often cannot be directly used for training machine learning systems. To resolve this issue, a lot of work has been conducted to control the response quality such that low-quality responses cannot adversely affect the performance of the machine learning systems. Such work is referred to as the quality control for crowdsourcing. Past quality control research can be divided into two major branches: quality control mechanism design and statistical models. The first branch focuses on designing measures, thresholds, interfaces and workflows for payment, gamification, question assignment and other mechanisms that influence workers' behaviour. The second branch focuses on developing statistical models to perform effective aggregation of responses to infer correct responses. The two branches are connected as statistical models (i) provide parameter estimates to support the measure and threshold calculation, and (ii) encode modelling assumptions used to derive (theoretical) performance guarantees for the mechanisms. There are surveys regarding each branch but they lack technical details about the other branch. Our survey is the first to bridge the two branches by providing technical details on how they work together under frameworks that systematically unify crowdsourcing aspects modelled by both of them to determine the response quality. We are also the first to provide taxonomies of quality control papers based on the proposed frameworks. Finally, we specify the current limitations and the corresponding future directions for the quality control research.

研究の動機と目的

• 統計的モデリングとメカニズム設計の間のギャップを埋めること、これらは歴史的に独立して研究されてきた。
• 応答品質の推論を向上させるために、モデリングと設計の両側面を体系的に統合する統一された技術的フレームワークを提供すること。
• 統一されたフレームワークに基づく既存の品質管理手法の詳細な分類体系を提示し、文献の分類と理解を向上させること。
• 主観性、マルチクラス／ラベル処理、インcentiveメカニズムの実証的検証に関する現在のアプローチの主な制限を特定・明示すること。
• 今後の研究方向性を提示すること、特に主観性のモデリング、応答選択肢における意味的関係の処理、実証的根拠に基づくゲーム化手法の開発を含む。

提案手法

• 本稿は、応答集約と品質推論のための統計モデルと、インcentive、しきい値、ワークフローのためのメカニズム設計を結びつける統一されたフレームワークを提案する。
• 統計モデルが作業者信頼性、タスク難易度、主観性を推定するのに対し、メカニズムはこれらの推定値を用いてしきい値と報酬ルールを設定する共同モデリングアプローチを導入する。
• 作業者熟練度、タスク難易度、応答の主観性を確率的モデルにおける潜在変数として組み込み、ノイズの多い応答から真のラベルを推論可能にする。
• ベイズ推論を用いてモデルパラメータを推定し、コアとなる方程式は作業者正確性とタスク特性に基づく応答尤度をモデル化する。
• 100件以上の品質管理論文を、モデリング仮定と設計メカニズムによって分類した分類体系を含み、研究の全体像とメソドロジカルなギャップを明確にする。
• 高次元マルチクラスまたはマルチラベルタスクにおける応答選択肢間の意味的関係をモデル化するための行列分解技術を提案し、モデルの複雑さを低減し、過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 統計的モデリングとメカニズム設計を、クラウドソーシングの品質管理を改善するために体系的に統合する方法は何か？
• RQ2 品質管理フレームワークにおいて、統計的推論とインcentiveメカニズムの間の主要な技術的関連性は何か？
• RQ3 応答の主観性を定量的にモデリングし、品質管理システムに統合する方法は何か？
• RQ4 現在の手法が、高次元マルチクラスまたはマルチラベルクラウドソーシングタスクを処理する上で抱える制限は何か？
• RQ5 ゲーム化および報酬メカニズムを実証的に検証し、応答品質を向上させるために最適化する方法は何か？

主な発見

• 本稿は、既存のサーベイが統計的モデリングとメカニズム設計を別個の分野として扱っているが、実世界のシステムでは両者に強い相関関係があるため、重要な研究ギャップを特定した。
• 統計的モデルがメカニズム設計を支援するための重要なパrameter推定値と理論的性能保証を提供していることを示した。たとえば、最適なしきい値や報酬ルールの決定に寄与する。
• 高次元マルチクラスクラウドソーシングにおける品質管理を扱った研究はわずか3件であり、そのうち1件だけが行列ベースのモデリングを用いて応答から意味的関係を再構築する可能性を示した。
• 主観性に配慮したモデルはまだ初期段階にあり、主に作業者グループの期待正解に基づく質問固有の主観性測定を提案した1件の研究（Yuan et al. [31]）しか存在しない。
• 現在のゲーム化設計は実証的検証が不足しており、データ駆動のガイドラインに代わって、主に物語的またはビデオゲーム由来の慣習に依存している。
• 本稿は、行列分解が大規模な選択肢を含むタスクにおける意味的関係モデリングをスケーラブルに実現するために不可欠であると強調した。これにより計算複雑性が低減され、過学習の防止にも寄与する。