[论文解读] Crowd Labeling: a survey

Jafar Muhammadi, Hamid R. Rabiee+1 more|arXiv (Cornell University)|Jan 13, 2013

Mobile Crowdsensing and Crowdsourcing被引用 9

一句话总结

本综述提出了一种统一的统计潜在模型用于群体标注，将各种聚合方法视为不同参数设置下的特例。综述了推理算法、自适应标注策略，并指出了诸如多分类支持、用户相关性及模型复杂性等关键挑战，为未来特定任务的模型设计和稀疏、分类的群体数据改进矩阵分解技术提供了指导。

ABSTRACT

Recently, there has been a burst in the number of research projects on human computation via crowdsourcing. Multiple choice (or labeling) questions could be referred to as a common type of problem which is solved by this approach. As an application, crowd labeling is applied to find true labels for large machine learning datasets. Since crowds are not necessarily experts, the labels they provide are rather noisy and erroneous. This challenge is usually resolved by collecting multiple labels for each sample, and then aggregating them to estimate the true label. Although the mechanism leads to high-quality labels, it is not actually cost-effective. As a result, efforts are currently made to maximize the accuracy in estimating true labels, while fixing the number of acquired labels. This paper surveys methods to aggregate redundant crowd labels in order to estimate unknown true labels. It presents a unified statistical latent model where the differences among popular methods in the field correspond to different choices for the parameters of the model. Afterwards, algorithms to make inference on these models will be surveyed. Moreover, adaptive methods which iteratively collect labels based on the previously collected labels and estimated models will be discussed. In addition, this paper compares the distinguished methods, and provides guidelines for future work required to address the current open issues.

研究动机与目标

• 提供对从嘈杂、冗余的人工标注数据中估计真实标签的群体标注方法的系统性综述。
• 将多种群体标注方法统一于单一统计潜在模型之下，展示不同方法如何对应于不同的参数选择。
• 回顾潜在模型中使用的推理算法，包括EM、信念传播和矩阵分解技术。
• 考察自适应标注策略，即通过基于先前估计迭代选择标签以提高效率。
• 识别现有挑战，并为多分类问题、用户相关性建模以及应用特定模型设计的未来研究提供指导。

提出的方法

• 提出一种通用的概率潜在模型，将群体标注视为具有未观测真实标签和嘈杂工作者响应的统计推断问题。
• 通过调整工作者准确率（α_j）、标签先验（π^j）和响应分布等参数，将现有方法（如多数投票、Dawid-Skene、PMF）视为统一模型的特例。
• 回顾包括期望最大化（EM）用于似然和联合概率最大化、信念传播（BP）风格算法以及基于SVD的方法在内的推理技术。
• 提出用于自适应标注的样本选择标准，其中后续标签基于当前模型估计选择，以最大化信息增益。
• 对概率矩阵分解（PMF）进行修改以适用于群体标注，包括在目标函数中集成异常值检测，并使用适用于分类数据的距离度量。
• 建议基于任务的模型，利用领域特定属性以简化假设，在不牺牲可计算性的情况下提高准确性。

实验结果

研究问题

• RQ1 如何将多样化的群体标注方法统一于单一统计潜在模型之下？
• RQ2 在EM、BP和基于SVD的算法等流行推理算法之间，性能和假设的关键差异是什么？
• RQ3 自适应标注策略如何在保持或提升标签准确性的前提下降低标注成本？
• RQ4 当前模型在处理多分类问题和用户响应相关性方面存在哪些局限性？
• RQ5 如何将矩阵分解技术（如PMF）适配于分类的、稀疏的群体标注数据？

主要发现

• 通过调整工作者可靠性与标签先验等模型参数，统一的潜在模型成功地涵盖了主要群体标注方法，如Dawid-Skene和PMF。
• 基于EM的联合或似然函数推理在准确性和鲁棒性方面始终优于多数投票等简单方法。
• 自适应采样策略显著减少了所需标签数量，同时保持高准确度，尤其在结合基于模型的不确定性估计时效果更明显。
• 基于PMF的方法在群体标注数据上表现欠佳，原因在于协同过滤中的固有假设（如行与列间存在强相关性）在分类标注任务中并不成立。
• 必须将异常值检测集成到矩阵分解目标函数中，以防止秩坍塌并提升估计性能，尤其是在噪声较高的真实数据集中。
• 本文识别出当前方法中的一个关键缺口：大多数方法缺乏对多分类标注的支持，且未能对工作者之间的相关性进行建模，表明亟需设计任务驱动、领域感知的模型。