[论文解读] Impacts of Dirty Data: and Experimental Evaluation

Zhixin Qi, Hongzhi Wang+2 more|arXiv (Cornell University)|Mar 16, 2018

Machine Learning and Data Classification参考文献 44被引用 11

一句话总结

本文通过实验评估了缺失、不一致和冲突数据对分类与聚类算法的影响，引入了新颖的度量指标——敏感性（sensibility）与保留点（keeping point），用于量化算法的鲁棒性。研究基于错误率与任务需求，提供了数据驱动的算法选择与针对性数据清洗指南，从而在保持准确性的前提下降低不必要的清洗成本。

ABSTRACT

Data quality issues have attracted widespread attention due to the negative impacts of dirty data on data mining and machine learning results. The relationship between data quality and the accuracy of results could be applied on the selection of the appropriate algorithm with the consideration of data quality and the determination of the data share to clean. However, rare research has focused on exploring such relationship. Motivated by this, this paper conducts an experimental comparison for the effects of missing, inconsistent and conflicting data on classification and clustering algorithms. Based on the experimental findings, we provide guidelines for algorithm selection and data cleaning.

研究动机与目标

• 探究缺失、不一致和冲突数据对分类与聚类算法的具体影响。
• 开发新的评估指标，以捕捉算法在脏数据条件下性能波动与鲁棒性。
• 为用户提供可操作的指导，根据数据质量与任务需求选择合适的算法，并针对性地进行数据清洗。
• 通过识别维持可接受性能所需的最低数据质量阈值（保留点），降低数据清洗成本。

提出的方法

• 作者选取了十二种经典的分类与聚类算法进行实验评估。
• 通过控制缺失、不一致与冲突数据的水平，生成了不同数据规模与错误率的合成数据集。
• 引入两种新颖度量指标：敏感性（衡量算法对数据质量问题的敏感程度）与保留点（算法在维持可接受性能前提下可容忍的最大错误率）。
• 使用标准指标（精确率、召回率、F1值）结合新指标，评估算法的稳定性与鲁棒性。
• 在多个数据集与不同错误类型上开展实验，分析算法行为的趋势。
• 基于实证结果推导出指导原则，将算法选择与清洗阈值与错误类型及数据质量水平相联系。

实验结果

研究问题

• RQ1 不同类型的脏数据（缺失、不一致、冲突）如何影响分类与聚类算法的性能？
• RQ2 哪些度量指标能有效量化机器学习算法对数据质量问题的敏感性与鲁棒性？
• RQ3 哪些算法对特定类型的脏数据具有最强容忍度？数据规模如何影响这种容忍度？
• RQ4 每种算法在维持可接受性能前提下可容忍的最大错误率（保留点）是多少？
• RQ5 用户如何通过聚焦于最关键的数据质量问题，实现数据清洗的优化？

主要发现

• 在缺失数据条件下，逻辑回归是鲁棒性最强的分类算法，表现出最高的保留点与最低的敏感性。
• 在冲突数据条件下，LVQ是聚类算法中容忍度最高的，保留点最高；而CURE因对冲突值敏感，容忍度最低。
• DBSCAN是大规模数据集下最稳定的聚类算法，即使在数据规模增加时也能保持一致的性能表现。
• 大多数算法的F1值在数据规模增大时变得不稳定，而DBSCAN在高数据量与脏数据条件下仍保持鲁棒。
• 在干净数据上F1值大于80%的算法，在脏数据条件下表现出显著的性能波动，尤其在错误率升高时更为明显。
• 保留点度量能有效识别出算法性能变得不可接受的错误率阈值，从而支持针对性的数据清洗。