[论文解读] AQuA: A Benchmarking Tool for Label Quality Assessment

Mononito Goswami, Vedant Sanil+4 more|arXiv (Cornell University)|Jun 15, 2023

Machine Learning and Data Classification被引用 4

一句话总结

AQuA 是一个全面的基准测试框架，旨在在标签噪声环境下严格评估机器学习中的标签质量评估方法。它统一了在不同数据集、噪声类型和模型之间的评估标准，揭示了置信学习会过度删除数据，而 SimiFeat 和 AUM 在各种模态和噪声设置下表现出更优的鲁棒性和性能。

ABSTRACT

Machine learning (ML) models are only as good as the data they are trained on. But recent studies have found datasets widely used to train and evaluate ML models, e.g. ImageNet, to have pervasive labeling errors. Erroneous labels on the train set hurt ML models' ability to generalize, and they impact evaluation and model selection using the test set. Consequently, learning in the presence of labeling errors is an active area of research, yet this field lacks a comprehensive benchmark to evaluate these methods. Most of these methods are evaluated on a few computer vision datasets with significant variance in the experimental protocols. With such a large pool of methods and inconsistent evaluation, it is also unclear how ML practitioners can choose the right models to assess label quality in their data. To this end, we propose a benchmarking environment AQuA to rigorously evaluate methods that enable machine learning in the presence of label noise. We also introduce a design space to delineate concrete design choices of label error detection models. We hope that our proposed design space and benchmark enable practitioners to choose the right tools to improve their label quality and that our benchmark enables objective and rigorous evaluation of machine learning tools facing mislabeled data.

研究动机与目标

• 为解决机器学习中标签噪声检测方法缺乏标准化评估的问题。
• 提供一个统一的基准测试框架，以实现对标签质量评估工具的客观、可复现和全面的评估。
• 在不同数据模态、噪声类型和模型架构下，识别最有效的标签清洗方法。
• 为标签错误检测模型定义一个设计空间，以指导从业者为其数据选择合适的工具。
• 通过受控的大规模实验，揭示现有标签清洗方法在性能和鲁棒性方面的实证洞察。

提出的方法

• AQuA 集成了 4 种数据模态（图像、表格、文本、时间序列）、4 种单标签和 3 种多标注者噪声注入方法，以及 4 种最先进的标签错误检测模型。
• 在所有实验中使用 10+ 种分类模型（例如，ResNet-18、Distil-RoBERTa、MLP）来评估下游性能。
• 该框架使用多种评估指标，超越准确率，包括 F1 分数、AUC-ROC、公平性、泛化能力和鲁棒性，以评估模型行为。
• 噪声注入包括均匀、非对称、类别相关和实例相关类型，噪声率在 0.01–0.5 范围内变化，涵盖 1000 多种独特的实验配置。
• AQuA 支持按数据模态、噪声类型和模型架构对结果进行分割，以识别一致的性能趋势。
• 该基准包含通过数据卡片和 GitHub 上的开源代码实现的完整可复现性，确保透明性和可重用性。

实验结果

研究问题

• RQ1 哪些标签错误检测方法在不同数据模态和噪声类型下表现最为一致？
• RQ2 基础分类模型的选择在多大程度上影响标签清洗方法的性能？
• RQ3 不同的噪声注入策略（例如，均匀与非对称）在多大程度上影响标签错误的可检测性？
• RQ4 标签清洗方法如何影响下游模型的性能、公平性和鲁棒性？
• RQ5 数据不平衡和过度清洗对模型泛化能力和性能的影响是什么？

主要发现

• 置信学习平均删除 57% 的训练数据点，显著降低模型容量，尽管错误检测准确率较高，但导致下游性能较差。
• SimiFeat 和 AUM 在所有数据模态中，均在标签错误检测准确率和下游模型 F1 分数方面排名靠前。
• 当以加权 F1 衡量时，Cleanlab 在识别标签错误方面表现最佳，尤其在图像和表格数据中，但在时间序列和文本数据中表现较差。
• 标签清洗方法的性能因噪声类型而异：非对称和实例相关噪声比均匀噪声更难检测。
• CINCER 和 AUM 对类别不平衡影响最小，而置信学习显著改变了少数类的表示，可能损害公平性。
• 在所有实验中，SimiFeat 和 AUM 展现出卓越的鲁棒性，其性能在不同噪声率、数据类型和下游模型间保持一致。