[論文レビュー] CLAMShell: Speeding up Crowds for Low-latency Data Labeling

Daniel Haas, Jiannan Wang+2 more|arXiv (Cornell University)|Sep 20, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 46被引用数 11

ひとこと要約

CLAMShell は、遅延対策、プールメンテナンス、ハイブリッドアクティブ・パassingラーニングを用いて、データラベル付けの遅延とばらつきを低減するクラウドソーシングシステムであり、実稼働中の Amazon Mechanical Turk のワーカーを対象に、最大 8× の高速化と 151× のばらつき低減を達成した。

ABSTRACT

Data labeling is a necessary but often slow process that impedes the development of interactive systems for modern data analysis. Despite rising demand for manual data labeling, there is a surprising lack of work addressing its high and unpredictable latency. In this paper, we introduce CLAMShell, a system that speeds up crowds in order to achieve consistently low-latency data labeling. We offer a taxonomy of the sources of labeling latency and study several large crowd-sourced labeling deployments to understand their empirical latency profiles. Driven by these insights, we comprehensively tackle each source of latency, both by developing novel techniques such as straggler mitigation and pool maintenance and by optimizing existing methods such as crowd retainer pools and active learning. We evaluate CLAMShell in simulation and on live workers on Amazon's Mechanical Turk, demonstrating that our techniques can provide an order of magnitude speedup and variance reduction over existing crowdsourced labeling strategies.

研究の動機と目的

• インタラクティブなデータ分析システムの実行を妨げる、高くて予測不能なクラウドソーシングによるデータラベル付けの遅延を解消すること。
• タスク単位、バッチ単位、エンドツーエンドのラベル付け段階において、遅延の主な要因を同定し、体系的に低減すること。
• 品質を損なわずに、ラベル付けの速度と予測可能性を向上させる実用的で互換性のある技術を開発すること。
• 人間によるラベル付けデータをインタラクティブなデータ分析およびクリーニングパイプラインにリアルタイムで統合できるようにすること。
• 実際のワーカーを対象に実稼働環境での評価を行い、実世界の展開において顕著な高速化とばらつき低減を示すこと。

提案手法

• ストラグルマイトゲーションは、バッチ内の遅延タスクを冗長なラベルラーで完了させることで、バッチ完了のばらつきを数分から数分の1秒未塔に低減する。
• プールメンテナンスは、しきい値に基づく排出を用いて、時間の経過とともに遅延または低品質なワーカーを交換することで、高速かつ高品質なワーカープールを維持する。
• ハイブリッドラーニングは、アクティブラーニングのバッチサイズを超えるワーカー供給がある場合にはパラレルなパassingラーニングを活用し、簡単なタスクではアクティブラーニングを優先する動的戦略を採用する。
• システムは、冗長性に基づく投票やワーカー品質推定といった標準的な品質管理メカニズムと統合されており、ラベルの信頼性を保証する。
• CLAMShell は、MNIST や CIFAR-10 といった実際のデータセットを用いて、シミュレーションおよび実稼働環境での Amazon Mechanical Turk 上での評価が行われた。
• エンドツーエンドの評価では、最適化なしの Base-NR とリテンショナープールおよびアクティブラーニングを採用した Base-R の2つのベースラインと比較され、モデルの正確性とウォールクロック時間の両方が測定された。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングによるデータラベル付けにおける主な遅延要因は何か？ また、タスク単位、バッチ単位、エンドツーエンドの段階でどのように変化するか？
• RQ2 ストラグルマイトゲーションは、バッチラベル付け完了時間のばらつきを顕著に低減できるか？
• RQ3 プールメンテナンスは、長期間にわたり高速で高品質なワーカープールを維持するのにどの程度効果的か？
• RQ4 ハイブリッドラーニング戦略は、純粋なアクティブラーニングやパassingラーニングに比べ、ラベル付け速度とモデル正確性の面で優れているか？
• RQ5 実世界の実稼働ワーカー環境において、CLAMShell はエンドツーエンドのラベル付け遅延とばらつきをどの程度低減できるか？

主な発見

• CLAMShell は、最適化なしのクラウドデプロイメントと比較して、ラベル取得時間に最大 8× の高速化を達成した。
• システムはラベル付け遅延のばらつきを 151× 低減し、Base-NR と比較してわずか 3.1 秒（Base-NR は 475 秒）までにまで低減した。
• CIFAR-10 では、ハイブリッドラーニングが純粋なアクティブラーニングに比べて平均で 1.2×、純粋なパassingラーニングに比べて 1.6× 速く、85% の正確性に到達した。
• MNIST では、ハイブリッドラーニングがアクティブラーニングに比べて 1.7×、パassingラーニングに比べて 1.2× 速く、70% の正確性に到達した。
• MNIST で 75% のモデル正確性を達成するには、CLAMShell が Base-NR よりも 4–5× の短い時間で完了した。
• CLAMShell は、Base-NR と比較してラベル付けスループットを 7.24× 向上させ、実環境での高いスケーラビリティを示した。