[論文レビュー] Multi-Label Active Learning from Crowds

Shao-Yuan Li, Yuan Jiang+1 more|arXiv (Cornell University)|Aug 4, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 15被引用数 10

ひとこと要約

本稿では、多様な専門性を持つクラウドソーシングによるアノテータを活用してラベル付けコストを低減する、MACと呼ばれるマルチラベルアクティブラーニングフレームワークを提案する。ラベル相関とアノテータの信頼性を確率的にモデル化することで、MACは情報量が多く、信頼性の高いアノテータを同時に選択し、画像およびシーンデータセットにおいてベースラインを上回るマイクロ-F1を達成する。

ABSTRACT

Multi-label active learning is a hot topic in reducing the label cost by optimally choosing the most valuable instance to query its label from an oracle. In this paper, we consider the poolbased multi-label active learning under the crowdsourcing setting, where during the active query process, instead of resorting to a high cost oracle for the ground-truth, multiple low cost imperfect annotators with various expertise are available for labeling. To deal with this problem, we propose the MAC (Multi-label Active learning from Crowds) approach which incorporate the local influence of label correlations to build a probabilistic model over the multi-label classifier and annotators. Based on this model, we can estimate the labels for instances as well as the expertise of each annotator. Then we propose the instance selection and annotator selection criteria that consider the uncertainty/diversity of instances and the reliability of annotators, such that the most reliable annotator will be queried for the most valuable instances. Experimental results demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 高価なオラクルを低コストで不完全なクラウドソーシングアノテータに置き換えることで、マルチラベル学習における高いラベル付けコストを低減すること。
• アノテータの専門性にばらつきがあり、ノイズの多いラベルを提供する状況下で、効果的なマルチラベル分類器を学習する課題に対処すること。
• アクティブラーニングにラベル相関情報を統合することで、サンプル効率とモデル性能を向上させること。
• 不確実性、多様性、信頼性に基づいて、インスタンス選択とアノテータ選択を同時に最適化すること。

提案手法

• MACは、局所的なラベル相関を捉え、インスタンスラベルとアノテータの熟練度を同時に推定する確率的モデルを構築する。
• 各アノテータの信頼性は誤分類行列を用いてモデル化され、そのラベル品質が学習プロセスに組み込まれる。
• インスタンス選択は、ラベルごとの予測の不確実性と多様性をバランスさせる基準に従って行われる。
• アノテータ選択は、推定された熟練度と不確実性に基づき、最も情報量の多いインスタンスに対して信頼性の高いアノテータを優先的に選ぶ。
• 反復的アクティブラーニングを用いる：最良の（インスタンス、ラベル、アノテータ）三つ組を問い合わせ、モデルを更新し、予算制限に達するまで再評価を繰り返す。
• 性能評価は、毎200クエリごとにテストセットでマイクロ-F1を測定し、5回のランダムなデータ分割による平均値を報告する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングからのアクティブラーニングは、マルチラベル学習におけるラベル付けコストを著しく低減しつつ、高い性能を維持できるか？
• RQ2 信頼性の低いアノテータが関与するマルチラベルアクティブラーニング環境において、ラベル相関を効果的に活用する方法は何か？
• RQ3 インスタンス選択とアノテータ選択を同時に最適化することで、ランダム選択やヒューリスティック選択と比較して学習効率が向上するか？
• RQ4 本稿で提案するモデルは、ラベル相関を無視するベースラインや単純な多数決投票を用いるベースラインと比較して、どのように優れているか？

主な発見

• MACは、画像およびシーンデータセットの両方で、初期学習段階における限られたラベル付きデータの状況下でも、すべてのベースラインを上回るマイクロ-F1を達成する。
• 局所的影響モデルによるラベル相関の統合は、特に訓練データが少ない状況で顕著な性能向上をもたらす。
• インスタンスとアノテータの両方をアクティブに選択することで、ランダム選択や多数決ベースラインと比較して性能が向上し、戦略的なクエリの価値が示された。
• MACのクラウドソーシング学習部は、アノテータの品質が一貫しない状況でも、多数決投票よりも常に高い正確性を達成する。
• 複数のデータ分割にわたる実験においても、平均性能が安定しており、5回のランダムなデータ分割による平均値が報告されている。