[論文レビュー] Active Learning for Crowd-Sourced Databases

Barzan Mozafari, Purnamrita Sarkar+3 more|arXiv (Cornell University)|Sep 17, 2012

Machine Learning and Algorithms参考文献 63被引用数 32

ひとこと要約

本稿では、分類器をブラックボックスとして扱い、非パラメトリックブートストラップを用いて不確実性を推定し、バッチ処理と並列処理をサポートする、クラウドソーシングデータベースを想定した2つの新規アクティブラーニングアルゴリズム—UncertaintyおよびMinExpError—を提案する。本手法は、ベースラインと比較してラベル付与クエリを1〜2桁減少させ、実世界およびUCIのデータセットにおいて、既存のアクティブラーニング手法と比較して4.5〜44倍少ないリクエストで高い性能を達成する。

ABSTRACT

Crowd-sourcing has become a popular means of acquiring labeled data for a wide variety of tasks where humans are more accurate than computers, e.g., labeling images, matching objects, or analyzing sentiment. However, relying solely on the crowd is often impractical even for data sets with thousands of items, due to time and cost constraints of acquiring human input (which cost pennies and minutes per label). In this paper, we propose algorithms for integrating machine learning into crowd-sourced databases, with the goal of allowing crowd-sourcing applications to scale, i.e., to handle larger datasets at lower costs. The key observation is that, in many of the above tasks, humans and machine learning algorithms can be complementary, as humans are often more accurate but slow and expensive, while algorithms are usually less accurate, but faster and cheaper. Based on this observation, we present two new active learning algorithms to combine humans and algorithms together in a crowd-sourced database. Our algorithms are based on the theory of non-parametric bootstrap, which makes our results applicable to a broad class of machine learning models. Our results, on three real-life datasets collected with Amazon's Mechanical Turk, and on 15 well-known UCI data sets, show that our methods on average ask humans to label one to two orders of magnitude fewer items to achieve the same accuracy as a baseline that labels random images, and two to eight times fewer questions than previous active learning schemes.

研究の動機と目的

• 大規模データセットへのスケーリングを可能にするために、人間によるラベル付与コストを最小限に抑えること。
• 分類器の内部構造を変更せずに、非専門家が利用可能な汎用的でスケーラブルなアクティブラーニングアルゴリズムを設計すること。
• 実世界のクラウドソーシングシステムへの実用的導入を可能にするために、アクティブラーニングにおけるバッチ処理と並列処理をサポートすること。
• ラベルラーの品質が一様でない状況でも、信頼性の低いクラウドワーカーによるラベルノイズを適切に管理すること。
• 高いモデル精度を維持しつつ、人間によるラベル付き例の数を削減すること。

提案手法

• 未ラベルデータに対して非パラメトリックブートストラップを用いて複数の分類器予測を生成し、分類器の内部を変更せずに不確実性推定を可能にする。
• Uncertaintyアルゴリズムを用いて、ブートストラップサンプル間の予測分散が最大となるインスタンス（最も情報量が多いとされる）を選択する。
• MinExpErrorアルゴリズムを用いて、モデルが最も不確実で、誤差を低減する潜在的効果が高いインスタンスを選択し、期待誤差を最小化する。
• 複数のインスタンスを同時に処理することでバッチ処理と並列処理をサポートし、クラウドソーシングワークフローにおける実行時間効率を向上させる。
• 分類器をブラックボックスとして扱い、内部パラメータへのアクセスやトレーニングプロセスの変更を一切不要としない。
• 初期設定時および反復的設定の両方で適応的クエリ選択を統合し、各バッチ後にモデルを再訓練することで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様な分類タスクに一般化可能な状況下でも、アクティブラーニングがクラウドソーシングデータベースに効果的に適用可能か？
• RQ2 内部構造の変更なしに、任意の分類器と連携できるように、アクティブラーニングをどのように設計できるか？
• RQ3 バッチ処理と並列処理は、クラウドソーシングシステムにおけるアクティブラーニングの効率をどの程度向上できるか？
• RQ4 本手法は、信頼性の低いクラウドワーカーによるラベルノイズを実際の現場でどのように処理するか？
• RQ5 ブートストラップに基づく不確実性推定は、従来のアクティブラーニング戦略と比較して、クエリ効率において優れているか？

主な発見

• 提案されたアルゴリズムは、3つの実世界のMechanical Turkデータセットにおいて、ベースライン手法と比較してラベル付与クエリを1〜2桁減少させた。
• 15のUCIデータセットにおいて、IWAL や Bootstrap-LV といった既存のアクティブラーニングアルゴリズムと比較して、4.5〜44倍の少ないラベル付与リクエストで高い性能を達成した。
• UncertaintyおよびMinExpErrorアルゴリズムは、MarginDistance や CrowdER、CVHull といったドメイン特化型アプローチを、クエリ効率および精度の両面で上回った。
• 反復的再訓練設定では、初期設定よりも高いモデル精度を達成しており、適応的クエリ選択の利点を示した。
• バッチ処理は、ラベル品質を損なわず、実行時間性能を顕著に向上させ、生産環境でのスケーラブルな展開を可能にした。
• ブラックボックス型でブートストラップに基づくアプローチは、多様な分類タスクに一般化可能であり、下位の分類器やデータ分布に関する仮定を必要としない。