[论文解读] Modeling Multiple Annotator Expertise in the Semi-Supervised Learning Scenario

Yan Yan, Rómer Rosales+2 more|arXiv (Cornell University)|Mar 15, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 14被引用 12

一句话总结

本文提出了一种概率半监督学习模型，联合估计真实标签与多个标注者对数据点的标注专业度，同时利用已标注和未标注数据。通过建模标注者可靠性与标签不确定性，该方法在忽略未标注数据或多标注者信息的标准方法基础上，显著提升了预测准确性，尤其在低资源标注场景下表现更优。

ABSTRACT

Learning algorithms normally assume that there is at most one annotation or label per data point. However, in some scenarios, such as medical diagnosis and on-line collaboration,multiple annotations may be available. In either case, obtaining labels for data points can be expensive and time-consuming (in some circumstances ground-truth may not exist). Semi-supervised learning approaches have shown that utilizing the unlabeled data is often beneficial in these cases. This paper presents a probabilistic semi-supervised model and algorithm that allows for learning from both unlabeled and labeled data in the presence of multiple annotators. We assume that it is known what annotator labeled which data points. The proposed approach produces annotator models that allow us to provide (1) estimates of the true label and (2) annotator variable expertise for both labeled and unlabeled data. We provide numerical comparisons under various scenarios and with respect to standard semi-supervised learning. Experiments showed that the presented approach provides clear advantages over multi-annotator methods that do not use the unlabeled data and over methods that do not use multi-labeler information.

研究动机与目标

• 解决在标注者专业度各异且标签成本高昂或真实标签模糊时，从多标注者标注的数据中学习的挑战。
• 将未标注数据整合进学习过程，以改善多标注者场景下的标签估计与专业度建模。
• 开发一个统一的概率框架，对已标注和未标注样本同时估计真实标签与个体标注者可靠性。
• 超越现有方法，后者或忽略未标注数据，或未能建模标注者特定的专业度。

提出的方法

• 该模型采用生成概率框架，从观测到的标注中联合推断真实标签与标注者特定的专业度参数。
• 假设每位标注者的标注行为遵循由其专业度参数化的概率分布，该参数通过已标注数据学习，并由未标注数据正则化。
• 该方法采用期望最大化（EM）算法，迭代估计真实标签与标注者专业度，利用未标注数据优化标签置信度。
• 该模型将标签不确定性和标注者可靠性纳入似然函数，即使在存在噪声或不一致标注的情况下，也能实现鲁棒推理。
• 明确建模标注者行为与真实标签之间的关系，从而实现对未标注数据点的标签与专业度联合估计。
• 该框架支持二分类与多分类任务，且可扩展至具有多个标注者和大量未标注样本的数据集。

实验结果

研究问题

• RQ1 当多个标注者提供不一致标签时，如何提升标签估计的准确性？
• RQ2 在多标注者设置下，引入未标注数据在多大程度上能提升真实标签与标注者专业度的估计？
• RQ3 能否通过统一的概率模型，联合估计真实标签与标注者可靠性，同时利用未标注数据？
• RQ4 与标准半监督学习和多标注者学习方法相比，所提出方法在准确性和鲁棒性方面表现如何？

主要发现

• 所提方法显著优于不使用未标注数据的多标注者学习方法，尤其在标注数据稀缺时表现更优。
• 引入未标注数据可提升真实标签与标注者专业度的估计精度，降低标签不确定性。
• 在具有多个标注者的基准数据集上，该模型的F1值与准确率均高于基线方法。
• 即使仅标注了少量数据，标注者专业度估计也保持稳定，并与真实可靠性高度相关。
• 该方法对标签噪声和不同水平的标注者专业度均表现出鲁棒性，在多样化的标注场景下保持高性能。