[論文レビュー] The Challenge of Variable Effort Crowdsourcing and How Visible Gold Can Help

Danula Hettiachchi, Mike Schaekermann+2 more|arXiv (Cornell University)|May 19, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 89被引用数 19

ひとこと要約

本稿は、1枚あたりのアノテーション作業量が著しく異なる変動作業量のクラウドソーシングにおける物体検出タスクの課題に取り組み、動的フィードバックと段階的処罰を備えた可視ゴールドクイズを提案。ベースライン手法比でバウンディングボックスの正確性が7.5%向上した。

ABSTRACT

We consider a class of variable effort human annotation tasks in which the number of labels required per item can greatly vary (e.g., finding all faces in an image, named entities in a text, bird calls in an audio recording, etc.). In such tasks, some items require far more effort than others to annotate. Furthermore, the per-item annotation effort is not known until after each item is annotated since determining the number of labels required is an implicit part of the annotation task itself. On an image bounding-box task with crowdsourced annotators, we show that annotator accuracy and recall consistently drop as effort increases. We hypothesize reasons for this drop and investigate a set of approaches to counteract it. Firstly, we benchmark on this task a set of general best-practice methods for quality crowdsourcing. Notably, only one of these methods actually improves quality: the use of visible gold questions that provide periodic feedback to workers on their accuracy as they work. Given these promising results, we then investigate and evaluate variants of the visible gold approach, yielding further improvement. Final results show a 7% improvement in bounding-box accuracy over the baseline. We discuss the generality of the visible gold approach and promising directions for future research.

研究の動機と目的

• 物体検出タスクのような、アイテム1つあたりのラベリング作業量が著しく異なる変動作業量のヒューマンアノテーションタスクにおけるデータ品質の課題を特定・分析すること。
• 報酬インcentive、タスク分解、可視ゴールドといった既存の品質保証手法が、こうしたタスクにおいてどれほど効果的であるかを評価すること。
• 動的発行パターンと品質に基づく処罰を備えた、改善された可視ゴールドメカニズムの設計と実証的評価を行うこと。

提案手法

• 作業者がタスクを実施中に作業者精度に関するリアルタイムフィードバックが得られるように、可視ゴールドクイズを実装した。
• 作業者パフォーマンスの段階に応じてテスト頻度を調整する動的可視ゴールド戦略を設計した。
• 段階別処罰を導入：低パフォーマンスには警告、高パフォーマンスにはボーナスを付与することで品質向上を促進した。
• 事前と定期的な可視ゴールドテストを組み合わせ、高作業量タスクにおける品質維持を図った。
• ボーナスとブロックの閾値を、ベースラインデータからの百分位数を用いてキャリブレーションし、公平性と有効性を確保した。
• Open Imagesデータセットを用いたMechanical Turk上での制御されたクラウドソーシング実験を通じて、バリエーションを評価した。

実験結果

リサーチクエスチョン

• RQ1 顔検出のような変動作業量タスクにおいて、作業量の増加に伴いアノテーション品質（正確性と再現率）はどのように低下するか？
• RQ2 報酬インcentive、タスク分解、可視ゴールドといった既存の品質保証手法の中で、変動作業量タスクにおける品質低下を最も効果的に緩和するのはどれか？
• RQ3 高作業量アノテーションタスクにおけるデータ品質を最大化するための、可視ゴールド発行パターンと処罰構造は何か？
• RQ4 事前と定期的な可視ゴールドテストを組み合わせることで、単独で使用する場合よりも高い品質を維持できるか？
• RQ5 段階的処罰（警告とボーナス）は、変動作業量アノテーションタスクにおける作業者のパフォーマンスをどのように向上させるか？

主な発見

• Mechanical Turk上での顔検出タスクにおいて、1枚あたりの顔の数が増えるにつれて、アノテーションの正確性と再現率が著しく低下した。これは、変動作業量の課題を裏付ける結果であった。
• 検証された手法の中で、タスク内フィードバックを備えた可視ゴールドのみがデータ品質を顕著に向上させた。報酬インcentiveとタスク分解は、測定可能な利益を示さなかった。
• 事前と定期的な可視ゴールドテストを組み合わせることで、単独で使用する場合よりも品質維持が良好に保たれ、高作業量アイテムにおけるパフォーマンス低下が軽減された。
• 最終的な可視ゴールド設計（動的テストと段階的処罰を備える）は、基本的な可視ゴールドバージョン比で5.7%、可視ゴールドなしのベースライン比で7.5%のバウンディングボックス正確性向上を達成した。
• 作業者は継続的なフィードバックから利益を享受し、パイロットデータに基づく適応的閾値が公平性と迅速な反応性を確保した。
• 本研究は、フィードバックを通じた経験的学習の重要性を浮き彫りにした。また、インタラクティブな再編集機能の導入が、さらなる成果向上に寄与する可能性があると示唆した。