[論文レビュー] How Many Workers to Ask? Adaptive Exploration for Collecting High Quality Labels

Ittai Abraham, Omar Alonso+4 more|arXiv (Cornell University)|Nov 1, 2014

Mobile Crowdsensing and Crowdsourcing被引用数 7

ひとこと要約

本稿では、作業者品質スコアと回答の不一致を基に、1 HITあたりの作業者数を動的に決定するための適応的停止ルールを提案する。これにより、高品質なラベルを維持しつつ、コストを大幅に削減できる。HITの難易度を推定し、それに応じて回答を重み付けすることで、シミュレーションおよび実世界のデータにおいて、固定算定と従来のEMベースの手法を上回る性能を発揮し、平均して少ない作業者数で低い誤差率を達成する。

ABSTRACT

Crowdsourcing has been part of the IR toolbox as a cheap and fast mechanism to obtain labels for system development and evaluation. Successful deployment of crowdsourcing at scale involves adjusting many variables, a very important one being the number of workers needed per human intelligence task (HIT). We consider the crowdsourcing task of learning the answer to simple multiple-choice HITs, which are representative of many relevance experiments. In order to provide statistically significant results, one often needs to ask multiple workers to answer the same HIT. A stopping rule is an algorithm that, given a HIT, decides for any given set of worker answers if the system should stop and output an answer or iterate and ask one more worker. Knowing the historic performance of a worker in the form of a quality score can be beneficial in such a scenario. In this paper we investigate how to devise better stopping rules given such quality scores. We also suggest adaptive exploration as a promising approach for scalable and automatic creation of ground truth. We conduct a data analysis on an industrial crowdsourcing platform, and use the observations from this analysis to design new stopping rules that use the workers' quality scores in a non-trivial manner. We then perform a simulation based on a real-world workload, showing that our algorithm performs better than the more naive approaches.

研究の動機と目的

• 1つのHITあたり必要な作業者の数を動的に決定することで、クラウドソーシングにおけるコストと品質のトレードオフを解消すること。
• 既知の作業者パフォーマンススコアを活用し、HITの難易度をリアルタイムで推定することで、ラベル品質を向上させ、コストを削減すること。
• 高価な手動ラベリングに依存せずに、スケーラブルで自動的な高品質なゴールドスタンダードデータセットの作成を可能にすること。
• 回答の一致度と作業者信頼性に基づいて、作業者集約を適応的にバランスさせる停止ルールを設計すること。
• 適応的集約と作業者品質フィードバックを用いた自己一貫性のあるゴールドHIT生成の可能性を検討すること。

提案手法

• 本手法は、各回答の後で作業者の回答を評価する停止ルールを用い、回答の分散と作業者品質スコアに基づいて、追加の作業者を要請するか停止するかを決定する。
• 作業者の回答の不一致を測定することでHITの難易度を推定し、不一致が大きいほど難易度が高いと判断する。
• 作業者の既知の品質スコアとHITの推定難易度に応じて回答を重み付けし、難易度の高いタスクでは高品質な作業者の回答に高い重みを付与する。
• マルチアームド・バンディット戦略にインspiredされたインデックスベースのアプローチを用い、探索（追加データ収集）と活用（意思決定）のバランスを取る。
• 作業者品質は歴史的パフォーマンスから既知であると仮定し、システムは作業者信頼性の推定ではなく、HIT難易度と最終的答えの推定に集中できる。
• 投票差分と値の差分基準を修正することで、複数の正解と数値出力に対応するように本手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ラベル集約における誤差率を低く保ちながら、HITあたりの作業者数を最小限に抑える方法は何か？
• RQ2 既知の作業者品質スコアを活用することで、クラウドソーシングにおけるラベル集約の効率性と正確性を向上させられるか？
• RQ3 回答の不一致と作業者品質に基づく適応的停止は、固定算定法およびEMベース手法と比べてどのように異なるか？
• RQ4 適応的集約により、スケーラブルで自動的な高品質なゴールドスタンダードデータセットの生成が可能になるか？
• RQ5 HIT難易度推定が、作業者回答の重み付けと最終意思決定の正確性に与える影響は何か？

主な発見

• 提案された適応的停止ルールは、特に難易度の高いHITにおいて、固定算定法およびランダムサンプリング手法よりも顕著に低い誤差率を達成する。
• インデックスベースの適応的アルゴリズムは、固定算定法と比較して、同じ誤差率を維持しながら平均コスト（作業者数）を最大30％まで削減する。
• 簡単なHITでは、少数の作業者で早期に停止し、無駄な作業を回避する。一方、難易度の高いHITでは、正確性を確保するためにより多くの回答を集める。
• 本手法は、特に困難なタスクで信頼性の高い回答に高い重みを付けることで、作業者品質スコアを効果的に活用する。
• 実産業プラットフォームでの実証分析により、HIT難易度はほぼ一様に分布しており、適応的メカニズムの必要性が裏付けられる。
• シミュレーションにより、作業者品質が事前に分かっている状況では、推定バイアスが少ないため、EMベース手法に比べて適応的アプローチが優れていることが確認された。