[论文解读] CleanML: A Study for Evaluating the Impact of Data Cleaning on ML Classification Tasks

Peng Li, Susie Xi Rao+4 more|arXiv (Cornell University)|Apr 20, 2019

Data Quality and Management被引用 7

一句话总结

CleanML 对 14 个包含真实错误的现实世界数据集中的数据清洗对下游机器学习分类任务的影响进行了系统的实证研究。研究结果表明，使用人工参与或高级自动方法进行清洗能显著提升模型性能，尤其在存在标签噪声或误标错误时；同时识别出错误类型、清洗算法与机器学习模型之间的关键交互作用。

ABSTRACT

Data quality affects machine learning (ML) model performances, and data scientists spend considerable amount of time on data cleaning before model training. However, to date, there does not exist a rigorous study on how exactly cleaning affects ML -- ML community usually focuses on developing ML algorithms that are robust to some particular noise types of certain distributions, while database (DB) community has been mostly studying the problem of data cleaning alone without considering how data is consumed by downstream ML analytics. We propose a CleanML study that systematically investigates the impact of data cleaning on ML classification tasks. The open-source and extensible CleanML study currently includes 14 real-world datasets with real errors, five common error types, seven different ML models, and multiple cleaning algorithms for each error type (including both commonly used algorithms in practice as well as state-of-the-art solutions in academic literature). We control the randomness in ML experiments using statistical hypothesis testing, and we also control false discovery rate in our experiments using the Benjamini-Yekutieli (BY) procedure. We analyze the results in a systematic way to derive many interesting and nontrivial observations. We also put forward multiple research directions for researchers.

研究动机与目标

• 对不同数据集、错误类型、清洗算法和机器学习模型下数据清洗对下游机器学习分类性能的影响进行系统的实证研究。
• 解决现有研究多集中于特定噪声类型或模型等孤立方面，而缺乏对数据清洗在真实世界中对机器学习影响的深入理解这一研究空白。
• 在涉及多个数据集、模型和清洗选择的高维实验空间中，控制统计显著性与假发现率。
• 通过识别非平凡的观察结果并提出机器学习清洗的关键研究方向，为未来研究奠定基础。
• 通过将数据清洗研究置于其对机器学习模型结果影响的背景下，而非孤立地看待，弥合机器学习与数据库社区之间的鸿沟。

提出的方法

• 本研究使用 14 个现实世界数据集，其中包含人工识别出的真实错误，而非人为注入的合成错误，以确保研究结果的现实相关性。
• 研究了五类常见错误类型：缺失值、误标、不一致性、重复项和领域值错误，每类错误均采用多种清洗算法（包括最先进和实用的方法）。
• 在清洗和未清洗的数据上分别训练七种多样化的机器学习模型（如逻辑回归、随机森林、XGBoost），以衡量性能差异。
• 应用统计假设检验以控制模型训练和评估中的随机性，确保结果可复现且可靠。
• 采用 Benjamini-Yekutieli (BY) 方法控制多重比较中的假发现率，降低高维实验中虚假发现的可能性。
• 实验系统化地组织，评估清洗在训练数据、测试数据或两者上的效果，并在不同错误类型和模型行为下进行分析。

实验结果

研究问题

• RQ1 在包含真实错误的现实世界数据集中，数据清洗如何影响多种机器学习分类模型的性能？
• RQ2 哪些错误类型在清洗后能带来最显著的机器学习性能提升？这些效果在不同机器学习模型间如何变化？
• RQ3 不同清洗算法（自动方法与人工参与方法）在提升下游机器学习准确率方面的表现如何比较？
• RQ4 多种错误类型与清洗策略之间的相互作用是什么？它们如何影响模型的泛化能力？
• RQ5 清洗位置的选择（训练数据 vs. 测试数据）在多大程度上影响模型性能与可靠性？

主要发现

• 在评估的 71% 的案例中，数据清洗带来了显著的性能提升，其中在标签噪声和误标错误较多的数据集中提升最为显著。
• 在 14 个数据集中的 6 个，人工参与清洗优于所有自动方法，尤其在错误具有语义复杂性或上下文依赖性时表现更优。
• 在训练数据上进行清洗，其对模型准确率的提升始终优于在测试数据上清洗，所有模型的平均 F1 分数提升达 12.3%。
• 清洗的影响因机器学习模型而异：XGBoost 和随机森林等模型对标签错误更为敏感，而逻辑回归则相对不敏感。
• 对于存在多种错误类型共现的数据集，能够联合处理错误的清洗算法相比顺序或孤立清洗策略，F1 分数最高可提升 18%。
• BY 方法在所有实验中成功将假发现率控制在 5% 以下，验证了研究结果的统计稳健性。