[论文解读] False Discovery Rate Control and Statistical Quality Assessment of Annotators in Crowdsourced Ranking

Qianqian Xu, Jiechao Xiong+2 more|arXiv (Cornell University)|May 19, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用 5

一句话总结

该论文提出了一种统计框架，通过将标注者位置偏差建模为固定效应，以检测并控制众包排序中的错误发现率（FDR）。该框架引入了适用于混合稀疏与非稀疏参数的 knockoff 检验方法，并采用逆尺度空间动力学与线性化 Bregman 迭代实现可扩展、无偏的估计——从而在无需预先知晓偏差标注者数量的情况下，实现稳健的、FDR 受控的偏差标注者识别。

ABSTRACT

With the rapid growth of crowdsourcing platforms it has become easy and relatively inexpensive to collect a dataset labeled by multiple annotators in a short time. However due to the lack of control over the quality of the annotators, some abnormal annotators may be affected by position bias which can potentially degrade the quality of the final consensus labels. In this paper we introduce a statistical framework to model and detect annotator's position bias in order to control the false discovery rate (FDR) without a prior knowledge on the amount of biased annotators - the expected fraction of false discoveries among all discoveries being not too high, in order to assure that most of the discoveries are indeed true and replicable. The key technical development relies on some new knockoff filters adapted to our problem and new algorithms based on the Inverse Scale Space dynamics whose discretization is potentially suitable for large scale crowdsourcing data analysis. Our studies are supported by experiments with both simulated examples and real-world data. The proposed framework provides us a useful tool for quantitatively studying annotator's abnormal behavior in crowdsourcing data arising from machine learning, sociology, computer vision, multimedia, etc.

研究动机与目标

• 解决众包成对排序任务中缺乏系统性方法检测位置偏差的问题，特别是针对‘难看’和‘差’的标注者。
• 克服传统异常值检测方法（如多数投票）的局限性，这些方法无法识别由偏差标注者引起的全局排序不一致。
• 开发一种统计框架，控制错误发现率（FDR），且无需预先知晓偏差标注者的数量。
• 利用高效的优化技术，在大规模众包数据中实现可扩展、精确的标注者偏差检测。
• 提供一种稳健、可复现的标注者品质评估方法，确保共识标签的高可靠性。

提出的方法

• 构建一个线性模型，将标注者特定的位置偏差作为固定效应，以捕捉系统性的排序偏好。
• 将 knockoff 检验方法扩展至同时包含稀疏与非稀疏参数的场景，实现对混合参数模型的 FDR 控制。
• 采用逆尺度空间（ISS）动力学作为连续时间变量选择框架，实现无偏估计。
• 使用线性化 Bregman 迭代（LBI）作为 ISS 动力学的稳定、可扩展的离散化方法，结合梯度下降与软阈值化。
• 引入去偏步骤，以校正 LASSO 类估计器的固有偏差，提升估计精度。
• 通过 LBI 中的早期停止策略，将 FDR 控制与动态估计相结合，确保统计可靠性的同时保持计算效率。

实验结果

研究问题

• RQ1 如何在无需预先知晓偏差标注者数量的情况下，系统性地建模并检测众包成对排序中的位置偏差？
• RQ2 knockoff 检验能否被适配至混合稀疏与非稀疏参数的场景，以在存在标注者偏差时控制 FDR？
• RQ3 与标准 LASSO 相比，逆尺度空间动力学及其 LBI 离散化在估计精度与可扩展性方面有多大的提升？
• RQ4 所提出的框架在识别引入全局排序不一致的‘难看’和‘差’标注者方面有多有效？
• RQ5 该框架能否通过控制检测到的偏差标注者中假发现的期望比例，确保结果的高可复现性？

主要发现

• 所提出的框架能够成功检测出表现出位置偏差的‘难看’和‘差’标注者，即使其行为混合或细微。
• FDR 控制无需预先知晓偏差标注者的稀疏程度，确保检测到的标注者中假阳性比例不超过预设阈值。
• 逆尺度空间与线性化 Bregman 迭代方法在与 LASSO 类似条件下提供无偏估计器，同时计算效率更高、更具可扩展性。
• 在模拟与真实数据集上的实验结果表明，该方法能有效识别偏差标注者，并提升共识标签的质量。
• knockoff 检验的适配使得在成对比较数据中常见的依赖结构下仍能实现有效的 FDR 控制，其检测全局不一致性的性能优于标准方法。
• 由于 LBI 具有低计算成本与单路径特性，该框架适用于大规模众包应用，支持实时或近实时分析。