[论文解读] A Survey on Data Quality Dimensions and Tools for Machine Learning

Yuhan Zhou, Fengjiao Tu+3 more|arXiv (Cornell University)|Jun 28, 2024

Data Quality and Management被引用 5

一句话总结

本文回顾了过去五年内的17个数据质量评估/改进工具，定义了四个面向机器学习的数据质量维度及十二个指标，并提出开源工具开发路线图，以及未来趋势如大语言模型。

ABSTRACT

Machine learning (ML) technologies have become substantial in practically all aspects of our society, and data quality (DQ) is critical for the performance, fairness, robustness, safety, and scalability of ML models. With the large and complex data in data-centric AI, traditional methods like exploratory data analysis (EDA) and cross-validation (CV) face challenges, highlighting the importance of mastering DQ tools. In this survey, we review 17 DQ evaluation and improvement tools in the last 5 years. By introducing the DQ dimensions, metrics, and main functions embedded in these tools, we compare their strengths and limitations and propose a roadmap for developing open-source DQ tools for ML. Based on the discussions on the challenges and emerging trends, we further highlight the potential applications of large language models (LLMs) and generative AI in DQ evaluation and improvement for ML. We believe this comprehensive survey can enhance understanding of DQ in ML and could drive progress in data-centric AI. A complete list of the literature investigated in this survey is available on GitHub at: https://github.com/haihua0913/awesome-dq4ml.

研究动机与目标

• 定义并整合四个用于 ML 的数据质量维度，并将它们映射到实际指标。
• 调查过去五年开发的17个开源数据质量工具并比较它们的能力。
• 分析在评估和改进 ML 数据质量方面的挑战，并提出工具开发路线图。
• 讨论诸如大语言模型和生成式人工智能在 ML 数据质量中的新兴趋势。

提出的方法

• 从现有文献中识别并综合适用于 ML 的数据质量维度和指标。
• 汇编并分类17个开源数据质量评估/改进工具，提取其核心功能和指标。
• 在维度、指标和更新时间线方面对工具进行对比分析。
• 提出面向 ML 与数据中心 AI 量身定制的开源数据质量工具的设计路线图。
• 讨论大语言模型和生成式AI在 ML 的数据质量评估/改进中的作用。

Figure 1: Evolution of DQ evaluation/improvement tools across functions over time. The 6 core functions are data loading, data profiling, data integration, data transformation, automation and monitoring, and output and reports. Every tool supports the loading and output functions so the middle four

实验结果

研究问题

• RQ1 哪些核心的数据质量维度和指标最与机器学习工作流程相关？
• RQ2 当前开源数据质量工具在功能、指标和面向 ML 的适用性方面的比较如何？
• RQ3 哪些路线图和设计原则可以指导未来面向 ML 与数据中心的 AI 的开源数据质量工具？
• RQ4 新兴人工智能技术（如大语言模型）对 ML 的数据质量评估与改进有何影响？

主要发现

• 确定了四个数据质量维度（内在、情境、表征、可访问性）和十二个与 ML 相关的指标。
• 回顾了过去五年内的17个数据质量评估/改进工具，并总结了它们的功能、指标和更新历史。
• 提供了对比分析，突出工具在分析、监控和面向 ML 的评估方面的优势，并指出 2024 更新趋向自动化与监控。
• 概述面向 ML 的数据质量工具开发路线图，包括框架设计、功能和与数据中心 AI 实践的潜在整合。
• 讨论大语言模型和生成式 AI 在提升 ML 情境中数据质量评估与改进方面的新机会。

Figure 2: DQ dimensions, metrics, and corresponding tools. It showcases 4 dimensions and 12 DQ metrics in the first and second rows. Beneath each one, corresponding tools are listed, indicating their evaluation focus on the specific metrics and dimensions. The color of each tool represents the last