[论文解读] Data Readiness for AI: A 360-Degree Survey

Kaveen Hiniduma, Suren Byna+1 more|arXiv (Cornell University)|Apr 8, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

本文通过分析120余篇学术与产业界文献，提出了一套全面的AI数据准备度（DRAI）度量指标分类体系，涵盖结构化与非结构化数据。该研究整合了现有数据质量、公平性、隐私性及FAIR原则相关指标，提出统一框架以标准化评估流程，通过系统化的数据准备提升AI模型的可靠性。

ABSTRACT

Artificial Intelligence (AI) applications critically depend on data. Poor quality data produces inaccurate and ineffective AI models that may lead to incorrect or unsafe use. Evaluation of data readiness is a crucial step in improving the quality and appropriateness of data usage for AI. R&D efforts have been spent on improving data quality. However, standardized metrics for evaluating data readiness for use in AI training are still evolving. In this study, we perform a comprehensive survey of metrics used to verify data readiness for AI training. This survey examines more than 140 papers published by ACM Digital Library, IEEE Xplore, journals such as Nature, Springer, and Science Direct, and online articles published by prominent AI experts. This survey aims to propose a taxonomy of data readiness for AI (DRAI) metrics for structured and unstructured datasets. We anticipate that this taxonomy will lead to new standards for DRAI metrics that will be used for enhancing the quality, accuracy, and fairness of AI training and inference.

研究动机与目标

• 解决AI训练与推理中缺乏标准化数据准备度评估指标的问题。
• 基于广泛的文献基础，识别并分类结构化与非结构化数据集中的数据准备度维度。
• 将公平性、隐私性与偏见相关指标整合进数据质量评估，以支持伦理AI的发展。
• 提出统一的DRAI（AI数据准备度）分类体系，支持一致的评估与基准测试。
• 为从业者与研究人员提供指导，依据数据类型、应用领域与AI生命周期阶段选择合适的评估指标。

提出的方法

• 对ACM Digital Library、IEEE Xplore、权威期刊及专家网络文章中的120余篇文献进行了系统性调研。
• 将数据准备度维度映射至360度框架，整合质量、可访问性、互操作性与伦理维度。
• 将指标分类为：完整性、一致性、准确性、及时性、公平性、隐私性以及可重用性（FAIR）。
• 分析了现有工具，如IBM的数据质量工具包，以及FAIR合规的数据基础设施（如Materials Data Facility）。
• 评估了数据准备度的评分机制与阈值定义，强调可解释性与情境依赖性。
• 提出一个整体性、可演化的框架，支持在多样化AI应用中对数据准备度进行动态、基于生命周期的评估。

实验结果

研究问题

• RQ1 在结构化与非结构化数据中，有效AI训练与推理所必需的核心数据准备度维度是什么？
• RQ2 现有数据质量指标（如完整性、准确性）在多大程度上与AI特定需求及伦理考量相契合？
• RQ3 公平性、偏见与隐私指标在当前数据准备度评估框架中的整合程度如何？
• RQ4 定义通用数据准备度阈值的主要挑战是什么？如何基于情境进行应对？
• RQ5 如何开发基准数据集与评估协议，以实现在不同工具与领域间对DRAI指标的有意义比较？

主要发现

• 调研识别出120余篇相关文献，揭示了AI与数据科学文献中数据准备度指标生态的碎片化但持续增长的现状。
• 核心数据质量维度——完整性、一致性、准确性与及时性——仍是基础，但若缺乏公平性与隐私性整合则仍显不足。
• FAIR原则（可发现性、可访问性、可互操作性、可重用性）日益被视为AI就绪数据的关键，尤其在科研与科学领域。
• 不存在通用的数据准备度阈值；可接受水平高度依赖于具体情境，因应用领域与数据类型而异。
• DRAI指标的可解释性与可视化对利益相关者采纳至关重要，但当前工具中仍发展不足。
• 本研究强调需采用动态、基于生命周期的评估方法，因为数据准备度必须在初始准备阶段之后持续监控。