[论文解读] Assessing Data Quality of Annotations with Krippendorff Alpha For Applications in Computer Vision

Joseph Nassar, Viveca Pavon-Harr+2 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出使用克里普多夫的Alpha系数评估目标检测数据集中的标注者间一致性，证明在标注过程中监控标注质量可显著提升模型精度。通过在真实标注实验中应用该度量方法，作者表明，排除一致性较低的标注者可使RetinaNet模型性能更优，当使用高一致性真实标注数据时，精度提升最高达15%。

ABSTRACT

Current supervised deep learning frameworks rely on annotated data for modeling the underlying data distribution of a given task. In particular for computer vision algorithms powered by deep learning, the quality of annotated data is the most critical factor in achieving the desired algorithm performance. Data annotation is, typically, a manual process where the annotator follows guidelines and operates in a best-guess manner. Labeling criteria among annotators can show discrepancies in labeling results. This may impact the algorithm inference performance. Given the popularity and widespread use of deep learning among computer vision, more and more custom datasets are needed to train neural networks to tackle different kinds of tasks. Unfortunately, there is no full understanding of the factors that affect annotated data quality, and how it translates into algorithm performance. In this paper we studied this problem for object detection and recognition.We conducted several data annotation experiments to measure inter annotator agreement and consistency, as well as how the selection of ground truth impacts the perceived algorithm performance.We propose a methodology to monitor the quality of annotations during the labeling of images and how it can be used to measure performance. We also show that neglecting to monitor the annotation process can result in significant loss in algorithm precision. Through these experiments, we observe that knowledge of the labeling process, training data, and ground truth data used for algorithm evaluation are fundamental components to accurately assess trustworthiness of an AI system.

研究动机与目标

• 探究标注质量如何影响目标检测中深度学习模型的性能。
• 开发一种在图像标注过程中使用克里普多夫的Alpha监控数据质量的方法论。
• 评估众包标注者与专业标注者对模型精度和一致性的影响。
• 证明基于标注者间一致性的真实标注选择可带来更可靠的性能评估。
• 通过提升数据标注与评估过程的透明度，增强人工智能的可信度。

提出的方法

• 应用克里普多夫的Alpha系数量化多个标注者组在边界框标注上的标注者间一致性。
• 在相同图像集上对专业团队与众包工作者（MTurk）进行受控的标注实验。
• 将克里普多夫的Alpha作为实时质量度量指标，用于标记低一致性标注者并指导数据筛选。
• 基于标注者一致性的不同水平对数据集进行过滤，并训练RetinaNet模型，比较各版本的性能。
• 通过不同一致性阈值生成的多个真实标注版本（gt1, gt2, gt3）评估模型性能。
• 比较在高一致性与低一致性数据上训练的模型在精确率、召回率和F1分数上的表现，以评估影响。

实验结果

研究问题

• RQ1 通过克里普多夫的Alpha测量的标注者间一致性与目标检测模型精度之间有何相关性？
• RQ2 在高一致性与低一致性标注者数据上训练的模型之间，性能差异如何？
• RQ3 基于一致性水平选择真实标注数据，如何影响对算法性能的感知？
• RQ4 克里普多夫的Alpha能否有效适配并应用于计算机视觉标注任务？
• RQ5 在标注过程中监控标注质量在多大程度上可防止模型精度的损失？

主要发现

• 在高标注者间一致性（克里普多夫的Alpha > 0.8）的数据上训练的模型，其精确率相比在全部数据上训练的模型最高提升了15%。
• 包含低一致性标注者的数据导致假阳性显著增加，尽管召回率提高，但模型精确率下降。
• 在由高一致性标注者筛选出的真实标注数据（gt1和gt2）上训练的RetinaNet模型，优于在原始、一致性较低的真实标注（gt3）上训练的模型。
• 众包MTurk标注者的克里普多夫的Alpha值显著低于专业团队（α ≈ 0.6 vs. α ≈ 0.9），表明众包标注的一致性更低。
• 通过过滤掉低一致性标注者，即使模型超参数保持不变，模型预测中的误分类数量也减少了50%以上。
• 研究发现，若不评估标注质量而将数据集视为黑箱，将导致性能评估产生误导，尤其是在真实标注不一致时。