[论文解读] Evaluating Crowdsourcing Participants in the Absence of Ground-Truth

Ramanathan Subramanian, Rómer Rosales+2 more|arXiv (Cornell University)|May 30, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 2被引用 4

一句话总结

本文提出了一种新颖的、无需真实标签的方法，通过建模给定其他标注者响应时标签的条件概率分布，来评估并识别众包中的不可靠或对抗性标注者。该方法采用输入相关的准确率函数的多标注者统计模型，在高噪声水平下仍能稳健检测对抗性标注者，并在对抗性标注者不一致时保持高模型准确率。

ABSTRACT

Given a supervised/semi-supervised learning scenario where multiple annotators are available, we consider the problem of identification of adversarial or unreliable annotators.

研究动机与目标

• 解决在真实标签不可用或无法获取时，识别众包中不可靠或对抗性标注者的挑战。
• 开发一种统计模型，将标注者专业度建模为依赖于输入数据特征，而非假设其准确率恒定。
• 基于标注者之间的一致性模式，构建仅依赖于标注者间协议的可信度评估机制，无需使用标注数据。
• 在不同数量的对抗性标注者和不同对抗行为水平下，验证该方法的鲁棒性。

提出的方法

• 使用条件概率分布建模标注者可靠性：$ p(y^{(t)}_i | \mathbf{x}_i, z_i) = (1 - \eta_t(\mathbf{x}))^{\left|y^{(t)}_i - z_i\right|} \eta_t(\mathbf{x})^{1 - \left|y^{(t)}_i - z_i\right|} $，其中 $ \eta_t(\mathbf{x}) $ 为依赖于输入的准确率。
• 使用图形模型，包含依赖关系 $ \mathbf{x} \rightarrow y^{(t)} \leftarrow z $，明确建模标注者准确率如何随数据点特征变化。
• 定义条件概率 $ p(y^{(k)} | \{y^{(t \setminus k)}\}, \mathbf{x}) $，用于衡量一个标注者标签从其他标注者响应中可预测的程度，作为可靠性的代理指标。
• 通过计算所有数据点上负对数条件概率的总和，得到对抗性评分，其中评分越高表示可信度越低。
• 使用逻辑回归建模真实标签 $ p(z_i = 1 | \mathbf{x}_i) $，并将其整合进完整的概率框架中。
• 使用真实医学数据集（乳腺癌、心房颤动）和带有受控对抗性噪声的合成UCI数据集对方法进行验证。

实验结果

研究问题

• RQ1 我们能否在无法访问真实标签的情况下，可靠地检测众包中的对抗性标注者？
• RQ2 当对抗性标注者数量和对抗行为水平（即标签翻转概率 $ p_a $）变化时，该方法表现如何？
• RQ3 当引入对抗性标注者时，非对抗性标注者的条件可预测性评分是否保持稳定？
• RQ4 对抗性标注者的存在如何影响下游分类性能（例如AUC）？
• RQ5 该方法对数据分布和标注者行为模式的变化是否具有鲁棒性？

主要发现

• 非对抗性标注者的对抗性评分在对抗性标注者数量和 $ p_a $ 值变化时保持稳定，表明对噪声具有鲁棒性。
• 对抗性标注者的评分曲线在 $ p_a = 0.5 $ 附近对称，证实完全随机标注（最大不可预测性）产生最高评分。
• 即使在缺乏真实标签的情况下，该方法仍能基于低条件标签可预测性成功识别对抗性标注者。
• 除非大量对抗性标注者持续翻转标签，分类AUC仍保持相对较高，表明对中等程度对抗影响具有韧性。
• 该方法在多样化数据集（包括医学和UCI基准数据集）上泛化良好，且在各种设置下均保持一致的检测性能。