[论文解读] Multi-Label Active Learning from Crowds

Shao-Yuan Li, Yuan Jiang+1 more|arXiv (Cornell University)|Aug 4, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 15被引用 10

一句话总结

本文提出 MAC，一种多标签主动学习框架，利用具有不同专业水平的众包标注者来降低标注成本。通过概率化地建模标签相关性和标注者可靠性，MAC 同时选择最具信息量的样本和最可靠的标注者，在图像和场景数据集上的微F1指标上显著优于基线方法。

ABSTRACT

Multi-label active learning is a hot topic in reducing the label cost by optimally choosing the most valuable instance to query its label from an oracle. In this paper, we consider the poolbased multi-label active learning under the crowdsourcing setting, where during the active query process, instead of resorting to a high cost oracle for the ground-truth, multiple low cost imperfect annotators with various expertise are available for labeling. To deal with this problem, we propose the MAC (Multi-label Active learning from Crowds) approach which incorporate the local influence of label correlations to build a probabilistic model over the multi-label classifier and annotators. Based on this model, we can estimate the labels for instances as well as the expertise of each annotator. Then we propose the instance selection and annotator selection criteria that consider the uncertainty/diversity of instances and the reliability of annotators, such that the most reliable annotator will be queried for the most valuable instances. Experimental results demonstrate the effectiveness of the proposed approach.

研究动机与目标

• 通过用低成本、不完美的众包标注者替代昂贵的专家，降低多标签学习中的高标注成本。
• 解决当标注者专业水平不一且提供噪声标签时，学习有效多标签分类器的挑战。
• 将标签相关性信息整合到主动学习中，以提高样本效率和模型性能。
• 基于不确定性、多样性和可靠性，联合优化样本选择与标注者选择。

提出的方法

• MAC 构建了一个概率模型，以捕捉局部标签相关性，并联合估计样本标签和标注者专业水平。
• 该方法使用混淆矩阵对每位标注者的可靠性进行建模，并将其标签质量纳入学习过程。
• 样本选择由一个平衡预测不确定性与各标签间多样性的准则引导。
• 标注者选择优先考虑最可靠的标注者，针对最具信息量的样本，基于估计的专业水平和不确定性。
• 该框架采用迭代主动学习：查询最优的（样本，标签，标注者）三元组，更新模型，并重新评估，直至达到预算限制。
• 每 200 次查询后，在测试集上评估性能，使用微F1指标，结果在五次随机数据划分上取平均。

实验结果

研究问题

• RQ1 从众包中进行主动学习是否能显著降低多标签学习中的标注成本，同时保持高性能？
• RQ2 在标注者不可靠的多标签主动学习场景中，如何有效利用标签相关性？
• RQ3 与随机或启发式选择相比，联合优化样本和标注者选择是否能提高学习效率？
• RQ4 所提出的模型与忽略标签相关性或使用简单多数投票的基线方法相比表现如何？

主要发现

• MAC 在图像和场景数据集上的微F1指标上全面优于所有基线方法，尤其在标注数据有限的早期训练阶段表现更优。
• 通过局部影响建模整合标签相关性，显著提升了性能，尤其在训练数据稀缺时效果更明显。
• 主动选择样本和标注者相比随机选择或多数投票基线，性能更优，证明了策略性查询的价值。
• MAC 的众包学习组件在标注者质量不一致时，始终比多数投票方法更准确。
• 该方法在多次数据划分中表现出鲁棒性，性能结果基于数据的五次随机分区取平均报告。