[论文解读] Is one annotation enough? A data-centric image classification benchmark for noisy and ambiguous label estimation

Lars Schmarje, Vasco Grossmann+9 more|Helmholtz Centre for Ocean Research Kiel (GEOMAR)|Jul 13, 2022

Machine Learning and Data Classification被引用 10

一句话总结

本文提出了一项面向图像分类的数据驱动基准，通过在十个现实世界数据集中对每张图像进行多次人工标注，评估了噪声标签和模糊标签的影响。通过将标签改进（教师）与模型评估（学生）分离，研究证明单个标注不足以应对数据模糊性，而来自多个标注者的软标签能显著提升模型鲁棒性并降低过自信程度。

ABSTRACT

High-quality data is necessary for modern machine learning. However, the acquisition of such data is difficult due to noisy and ambiguous annotations of humans. The aggregation of such annotations to determine the label of an image leads to a lower data quality. We propose a data-centric image classification benchmark with ten real-world datasets and multiple annotations per image to allow researchers to investigate and quantify the impact of such data quality issues. With the benchmark we can study the impact of annotation costs and (semi-)supervised methods on the data quality for image classification by applying a novel methodology to a range of different algorithms and diverse datasets. Our benchmark uses a two-phase approach via a data label improvement method in the first phase and a fixed evaluation model in the second phase. Thereby, we give a measure for the relation between the input labeling effort and the performance of (semi-)supervised algorithms to enable a deeper insight into how labels should be created for effective model training. Across thousands of experiments, we show that one annotation is not enough and that the inclusion of multiple annotations allows for a better approximation of the real underlying class distribution. We identify that hard labels can not capture the ambiguity of the data and this might lead to the common issue of overconfident models. Based on the presented datasets, benchmarked methods, and analysis, we create multiple research opportunities for the future directed at the improvement of label noise estimation approaches, data annotation schemes, realistic (semi-)supervised learning, or more reliable image collection.

研究动机与目标

• 探究标签噪声和模糊性对图像分类性能的影响。
• 量化半监督学习中标注工作量与模型性能之间的关系。
• 为现实世界图像分类中的数据驱动方法提供标准化基准。
• 证明单一硬标签无法捕捉数据模糊性，导致模型过自信。
• 支持改进的标签噪声估计、标注方案以及真实场景半监督学习的研究。

提出的方法

• 提出两阶段基准：(1) 利用多个标注作为输入进行标签改进；(2) 在改进后的标签上对固定模型进行评估。
• 采用教师-学生范式，其中教师负责改进初始标签估计，学生在保留的测试集上评估性能。
• 使用多个涵盖多样化领域（如野生动物、医学、农业图像）的真实世界数据集，每张图像均有多个标注。
• 通过通用数据加载器支持与PyTorch和TensorFlow的集成，确保广泛的算法兼容性。
• 使用标准指标（准确率、F1、AUC）在固定评估模型上测量性能，以隔离数据质量带来的增益。
• 应用一系列基线方法（如SGNP、SimCLR、SWAV）以评估不同数据分布下标签改进的效果。

实验结果

研究问题

• RQ1 单个标注是否足以代表图像的真实类别分布？
• RQ2 每张图像的标注数量如何影响下游图像分类模型的性能？
• RQ3 数据驱动方法在多大程度上可以减轻现实世界数据集中标签噪声和模糊性的影响？
• RQ4 来自多个标注者的软标签估计能否提升模型泛化能力并降低过自信程度？
• RQ5 在半监督学习中，标注成本与模型性能之间最优权衡是什么？

主要发现

• 单个标注不足以捕捉图像数据中的固有模糊性，表现为人工标注者之间的一致率差异极大（4%至100%）。
• 多个标注能够更好地逼近真实的潜在类别分布，从而降低模型的过自信程度。
• 硬标签无法体现不确定性，导致即使在标签模糊的情况下，模型仍表现出过自信。
• 该基准表明，标签改进方法可显著提升下游模型性能，尤其当初始标签存在噪声时效果更明显。
• 来自多个标注者的软标签估计可带来更可靠、更鲁棒的模型训练，在全部十个数据集上均实现准确率和F1分数的可测量提升。
• 评估阶段证实，性能增益源于数据质量的提升，而非模型架构本身。