[论文解读] Data-centric AI: Perspectives and Challenges

Daochen Zha, Zaid Pervaiz Bhat+3 more|arXiv (Cornell University)|Jan 12, 2023

Data Quality and Management被引用 5

一句话总结

本文通过将数据中心人工智能（DCAI）的核心活动组织为三大任务，提出了一套统一的框架：训练数据开发、推理数据开发与数据维护。该框架系统性地提升了数据质量、可靠性和生命周期管理，强调数据（而不仅仅是模型）是推动人工智能系统发展的核心，并指出了若干关键开放性挑战，如跨任务集成、数据-模型协同设计以及基准测试。

ABSTRACT

The role of data in building AI systems has recently been significantly magnified by the emerging concept of data-centric AI (DCAI), which advocates a fundamental shift from model advancements to ensuring data quality and reliability. Although our community has continuously invested efforts into enhancing data in different aspects, they are often isolated initiatives on specific tasks. To facilitate the collective initiative in our community and push forward DCAI, we draw a big picture and bring together three general missions: training data development, inference data development, and data maintenance. We provide a top-level discussion on representative DCAI tasks and share perspectives. Finally, we list open challenges. More resources are summarized at https://github.com/daochenzha/data-centric-AI

研究动机与目标

• 通过将人工智能开发的重点从以模型为中心转向以数据为中心，重新定义AI开发范式，强调数据质量是提升模型性能的主要驱动力。
• 将孤立的数据改进工作统一为一个连贯的框架，包含三大核心任务：训练数据开发、推理数据开发与数据维护。
• 识别并阐明数据为中心人工智能（DCAI）中的开放研究挑战，包括跨任务集成、数据-模型协同设计、偏差缓解以及基准测试。
• 为研究社区提供顶层路线图与共享愿景，以共同推进数据为中心的人工智能发展。
• 倡导建立系统化的数据基础设施、工具与评估实践，以支持现实世界AI系统中持续的数据质量保障。

提出的方法

• 提出DCAI的三任务框架：训练数据开发（数据收集、标注、准备、精简、增强），推理数据开发（评估集构建、数据质量分析），以及数据维护（持续监控、错误修正、版本控制与加速）。
• 在每个任务下引入代表性任务，如数据集发现、主动学习、数据编程、数据清洗、归一化与查询加速。
• 强调需要自动化且可扩展的技术手段，特别是在数据准备与精简方面，应结合领域特定策略与算法优化。
• 突出AutoML与端到端管道搜索在实现系统性、多任务数据优化中的关键作用。
• 倡导数据-模型协同设计，即数据策略与模型架构共同演进，以最大化性能与公平性。
• 建议开发全面的数据基准，以整体性地评估数据质量与DCAI技术，类似于以模型为中心AI中的模型基准。

实验结果

研究问题

• RQ1 如何在人工智能全生命周期中系统性地提升数据质量与可靠性，而不仅限于模型训练阶段？
• RQ2 在多样化的人工智能应用中，规模化实施数据为中心AI实践面临哪些关键技术与组织挑战？
• RQ3 如何将数据维护与持续的数据质量保障集成到现实世界的人工智能系统中？
• RQ4 数据与模型设计在何种方式下可协同演化，以最大化人工智能系统的性能与公平性？
• RQ5 需要什么样的基准测试，才能以标准化方式评估与比较不同的数据为中心人工智能技术？

主要发现

• 本文确立了数据质量是决定模型性能的根本因素，且当数据未被系统性整理时，'垃圾进，垃圾出'的风险依然至关重要。
• 训练数据开发已得到充分研究，但推理数据开发与数据维护仍研究不足，尽管其在现实世界部署中的重要性日益凸显。
• 跨任务交互（如数据增强如何影响评估集设计，或维护策略如何依赖于训练数据特征）为系统性优化带来了重大挑战。
• 数据偏差是一个重大关切，DCAI为检测、缓解及持续监控训练与评估数据中的偏差提供了新路径。
• 缺乏标准化的数据质量与DCAI技术基准是推动该领域发展的主要瓶颈，现有基准往往局限于孤立任务。
• 未来DCAI的进展很可能会源于数据-模型协同设计与通过AutoML实现的端到端自动化，从而实现数据管道的整体优化。