[論文レビュー] Efficiency of active learning for the allocation of workers on crowdsourced classification tasks

Edoardo Manino, Long Tran-Thanh+1 more|arXiv (Cornell University)|Oct 19, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 12被引用数 3

ひとこと要約

本稿では、クラウドソーシング分類タスクにおける作業者割り当てのためのアクティブラーニング方策を提案・分析し、理論的および実験的に、適応的割り当てが一様割り当てを上回ることを示している。平均場推論を用いた作業者スキル推定により、作業者品質が初期に未知であっても、誤分類誤差を低減できる。

ABSTRACT

Crowdsourcing has been successfully employed in the past as an effective and cheap way to execute classification tasks and has therefore attracted the attention of the research community. However, we still lack a theoretical understanding of how to collect the labels from the crowd in an optimal way. In this paper we focus on the problem of worker allocation and compare two active learning policies proposed in the empirical literature with a uniform allocation of the available budget. To this end we make a thorough mathematical analysis of the problem and derive a new bound on the performance of the system. Furthermore we run extensive simulations in a more realistic scenario and show that our theoretical results hold in practice.

研究の動機と目的

• クラウドソーシング分類タスクにおける最適な作業者割り当てに関する理論的理解の不足に取り組む。
• 分類精度および効率性の観点から、アクティブラーニング方策と一様割り当てを比較する。
• 作業者品質が既知および未知の状況下でのパフォーマンスに理論的限界を導出する。
• 現実的なクラウドソーシングシナリオにおける広範なシミュレーションを通じて理論的発見を検証する。
• 作業者スキル推定とタスク割り当て戦略が最終的な分類精度に与える影響を調査する。

提案手法

• 各タスクの真のラベルが {+1, -1} に属する二値分類モデルを用い、作業者が精度 $ p_j $ を持つノイズの多いラベルを提供する。
• 作業者精度 $ p_j $ が既知の場合、Nitzan-Paroushの最適集約ルールを適用し、対数尤度比を用いて予測の信頼性を計算する。
• 未知の作業者パラメータ $ p_j $ を収集されたラベルから推定するために、近似平均場推論アルゴリズム（Liu et al., 2012）を採用する。
• 作業者-タスクの繰り返しを回避するように割り当て方策を修正：一様割り当てはラベル数が最も少ないタスクを選択し、アクティブラーニングは信頼性が最も高いタスク（|z_i|）を選択する。
• 各ラベル到着後に1回の平均場アルゴリズムイテレーションを用いて、信頼性推定値をオンラインで更新する。
• パラメータの変動に応じて1000回のシミュレーションを実施：タスク数 $ M $、総予算 $ B $、作業者あたりの平均ラベル数 $ | olimits_j| $、$ f_P \sim \text{Beta}(4,2) $。

実験結果

リサーチクエスチョン

• RQ1 作業者品質が既知の状況下で、アクティブラーニング方策と一様割り当ての分類精度はどのように比較されるか？
• RQ2 作業者精度が既知の理想状況において、アクティブラーニング方策の理論的パフォーマンス限界はどのように導出できるか？
• RQ3 作業者品質が未知であり、機械学習により推定されなければならない状況でも、アクティブラーニングのパフォーマンス優位性は維持されるか？
• RQ4 総予算 $ B $、タスク数 $ M $、作業者あたりのラベル数といったシステムパラメータが、異なる割り当て戦略の分類精度にどのように影響するか？
• RQ5 複数のタスクへの割り当てによる作業者スキル推定の向上が、全体のシステムパフォーマンスにどの程度寄与するか？

主な発見

• アクティブラーニングは一貫して一様割り当てを上回る分類精度を示し、理論的分析で予測されたものよりも大きな性能差が生じている。
• 作業者品質が既知の状況で導出された理論的限界は、平均場推論による作業者精度推定が行われる状況でも実際の実験で成立している。
• 総予算 $ B $ を増加させると分類精度が顕著に向上し、$ B/M $ が2から20に増加するに従い性能が上昇する。
• 作業者あたりの平均ラベル数（$ | olimits_j| $ が2から20に増加する）が増加することで、推論アルゴリズムによるスキル推定が改善され、システムの精度が向上する。
• 予算が固定（$ B = 10M $）の条件下で、タスク数 $ M $ が20から10,000に変動しても分類精度は安定しており、タスク数の変動に対して頑健であることが示された。
• アクティブラーニングと一様割り当てのパフォーマンス差は、中程度の予算で最も顕著であり、リソースが限られた状況でアクティブラーニングが最も効率的であることが示唆された。