[論文レビュー] Modeling Multiple Annotator Expertise in the Semi-Supervised Learning Scenario

Yan Yan, Rómer Rosales+2 more|arXiv (Cornell University)|Mar 15, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 14被引用数 12

ひとこと要約

本論文は、複数のアノテーターがデータポイントをラベル付けする状況において、ラベル付きデータとラベルなしデータの両方を活用し、真のラベルと個々のアノテーターの専門性を同時に推定する確率的半教師あり学習モデルを提案する。アノテーターの信頼性とラベルの不確実性をモデル化することで、ラベルなしデータや複数アノテーターの情報を無視する従来の手法に比べ、リソースが限られたラベル付け環境においても予測精度が向上する。

ABSTRACT

Learning algorithms normally assume that there is at most one annotation or label per data point. However, in some scenarios, such as medical diagnosis and on-line collaboration,multiple annotations may be available. In either case, obtaining labels for data points can be expensive and time-consuming (in some circumstances ground-truth may not exist). Semi-supervised learning approaches have shown that utilizing the unlabeled data is often beneficial in these cases. This paper presents a probabilistic semi-supervised model and algorithm that allows for learning from both unlabeled and labeled data in the presence of multiple annotators. We assume that it is known what annotator labeled which data points. The proposed approach produces annotator models that allow us to provide (1) estimates of the true label and (2) annotator variable expertise for both labeled and unlabeled data. We provide numerical comparisons under various scenarios and with respect to standard semi-supervised learning. Experiments showed that the presented approach provides clear advantages over multi-annotator methods that do not use the unlabeled data and over methods that do not use multi-labeler information.

研究の動機と目的

• ラベルが高コストであるか、真のラベルが曖昧な状況において、専門性が異なる複数のアノテーターがラベルを付与するデータからの学習の課題に対処すること。
• ラベルなしデータを学習プロセスに統合することで、複数アノテーター設定におけるラベル推定と専門性モデリングの精度を向上させること。
• ラベル付きおよびラベルなしのインスタンスの両方について、真のラベルと個々のアノテーターの信頼性を同時に推定する統一された確率的フレームワークを開発すること。
• ラベルなしデータを無視するか、アノテーター固有の専門性をモデル化できない既存の手法を上回ること。

提案手法

• モデルは、観測されたアノテーションから真のラベルとアノテーター固有の専門性パラメータを同時に推論する生成的確率的フレームワークを用いる。
• 各アノテーターのラベル付け行動が、その専門性でパrameter化された確率分布に従うと仮定し、ラベル付きデータから学習し、ラベルなしデータによって正則化する。
• 期待値最大化（EM）アルゴリズムを用いて、真のラベルとアノテーター専門性を繰り返し推定し、ラベルなしデータを活用してラベルの信頼性を高める。
• ラベルの不確実性とアノテーターの信頼性を尤度関数に組み込むことで、ノイズや一貫性のないアノテーションに対しても頑健な推論が可能になる。
• アノテーター行動と真のラベルの関係を明示的にモデル化することで、ラベルなしデータポイントに対してもラベルと専門性の両方の推定が可能になる。
• モデルは二値分類および多値分類をサポートし、複数のアノテーターと多数のラベルなしインスタンスを含むデータセットにもスケーラブルに適合する。

実験結果

リサーチクエスチョン

• RQ1 複数のアノテーターが一貫性のないラベルを提供する状況で、ラベル推定の精度をどのように向上させられるか。
• RQ2 ラベルなしデータを統合することで、複数アノテーター設定における真のラベルとアノテーター専門性の推定精度がどの程度向上するか。
• RQ3 統一された確率的モデルが、ラベルなしデータを活用しながら、真のラベルとアノテーター信頼性を同時に推定できるか。
• RQ4 提案手法は、標準的な半教師あり学習および複数アノテーター学習手法と比較して、精度と頑健性の面でどのように優れているか。

主な発見

• 提案手法は、ラベルなしデータを活用しない複数アノテーター学習手法に比べ、特にラベル付きデータが限られる状況で顕著に優れている。
• ラベルなしデータを統合することで、真のラベルとアノテーター専門性の両方の推定がより正確になり、ラベルの不確実性が低減する。
• ベンチマークデータセットにおける複数アノテーター設定において、ベースライン手法に比べてF1スコアと正解率が向上する。
• ラベル付きデータのわずかな割合しか利用しない状況でも、アノテーター専門性の推定値は安定的であり、真の信頼性と良好に相関する。
• ラベルノイズやアノテーター専門性のばらつきにかかわらず、多様なラベル付け環境においても高い性能を維持する。