[论文解读] CleanML: A Benchmark for Joint Data Cleaning and Machine Learning [Experiments and Analysis].

Peng Li, Susie Xi Rao+4 more|arXiv (Cornell University)|Apr 20, 2019

Data Quality and Management参考文献 16被引用 26

一句话总结

CleanML 引入了一个全面的基准，用于研究数据清洗与机器学习的联合影响，使用了13个真实世界的数据集，包含五种错误类型和七种机器学习模型。该基准采用严格的统计控制，包括 Benjamini-Yekutieli 过程，以确保可靠检测清洗效果，揭示了数据质量如何影响模型性能的非平凡洞察。

ABSTRACT

It is widely recognized that the data quality affects machine learning (ML) model performances, and data scientists spend considerable amount of time on data cleaning before model training. However, to date, there does not exist a rigorous study on how exactly does cleaning affect ML --- ML community usually focuses on the effects of specific types of noises of certain distributions (e.g., mislabels) on certain ML models, while database (DB) community has been mostly studying the problem of data cleaning alone without considering how data is consumed by downstream analytics. We propose the CleanML benchmark that systematically investigates the impact of data cleaning on downstream ML models. The CleanML benchmark currently includes 13 real-world datasets with real errors, five common error types, and seven different ML models. To ensure that our findings are statistically significant, CleanML carefully controls the randomness in ML experiments using statistical hypothesis testing, and also uses the Benjamini-Yekutieli (BY) procedure to control potential false discoveries due to many hypotheses in the benchmark. We obtain many interesting and non-trivial insights, and identify multiple open research directions. We also release the benchmark and hope to invite future studies on the important problems of joint data cleaning and ML.

研究动机与目标

• 为解决理解数据清洗如何影响下游机器学习模型性能的空白。
• 通过研究其联合效应，弥合数据库研究（关注清洗）与机器学习研究（关注模型鲁棒性）之间的鸿沟。
• 提供一个可复现、统计上可靠的基准，用于评估数据清洗对机器学习模型的影响。
• 识别出关于数据质量与模型性能关系的非平凡、基于实证的洞察。
• 发布一个公开可用的基准，以激发未来对数据清洗与机器学习联合研究的探索。

提出的方法

• 该基准整合了13个包含真实世界错误的现实世界数据集，确保实际相关性。
• 系统性地注入或识别五种常见数据错误类型（例如，错误标签、异常值、重复项）。
• 在清洗后和原始数据上训练七种不同的机器学习模型，以衡量性能差异。
• 使用统计假设检验，严格评估清洗导致的性能变化的显著性。
• 应用 Benjamini-Yekutieli 过程，以控制多重假设检验中的假发现率。
• 实验设计包含受控的随机性，以确保可复现性和统计有效性。

实验结果

研究问题

• RQ1 不同类型的数据错误如何影响不同机器学习模型的性能？
• RQ2 数据清洗在多大程度上提升了下游机器学习模型的准确性和鲁棒性？
• RQ3 是否存在某些错误类型对不同模型的性能产生不成比例的显著影响？
• RQ4 像 Benjamini-Yekutieli 过程这样的统计控制如何影响检测清洗效果的可靠性？
• RQ5 哪些错误类型与机器学习模型的组合在清洗后导致最显著的性能退化或提升？

主要发现

• 在多个数据集和模型上，数据清洗显著提升了模型性能，且影响程度因错误类型和模型架构而异。
• 某些错误类型，如标签噪声和异常值，对模型准确性的负面影响比其他类型更为显著。
• Benjamini-Yekutieli 过程在多重假设检验环境下有效控制了假发现，增强了基准结果的可信度。
• 部分机器学习模型对特定错误类型更为敏感，表明在实践中应综合考虑模型选择与数据质量。
• 该基准揭示了清洗与性能之间非平凡、依赖上下文的关系，挑战了性能普遍提升的假设。
• CleanML 的发布使得可复现的大规模研究成为可能，深入探索数据质量与机器学习之间的相互作用。