[论文解读] Data-centric Artificial Intelligence: A Survey

Daochen Zha, Zaid Pervaiz Bhat+5 more|arXiv (Cornell University)|Mar 17, 2023

Data Quality and Management被引用 98

一句话总结

一份全面的综述，定义数据为中心的人工智能，提出三目标分类法（训练数据开发、推理数据开发、数据维护），并分析跨任务和基准的自动化与人类协作。

ABSTRACT

Artificial Intelligence (AI) is making a profound impact in almost every domain. A vital enabler of its great success is the availability of abundant and high-quality data for building machine learning models. Recently, the role of data in AI has been significantly magnified, giving rise to the emerging concept of data-centric AI. The attention of researchers and practitioners has gradually shifted from advancing model design to enhancing the quality and quantity of the data. In this survey, we discuss the necessity of data-centric AI, followed by a holistic view of three general data-centric goals (training data development, inference data development, and data maintenance) and the representative methods. We also organize the existing literature from automation and collaboration perspectives, discuss the challenges, and tabulate the benchmarks for various tasks. We believe this is the first comprehensive survey that provides a global view of a spectrum of tasks across various stages of the data lifecycle. We hope it can help the readers efficiently grasp a broad picture of this field, and equip them with the techniques and further research ideas to systematically engineer data for building AI systems. A companion list of data-centric AI resources will be regularly updated on https://github.com/daochenzha/data-centric-AI

研究动机与目标

• 定义数据为中心的人工智能并说明其必要性。
• 提出面向目标的数据为中心的人工智能任务分类法。
• 按自动化水平和人类参与度组织文献。
• 讨论数据为中心的人工智能的挑战、基准和未来机遇。

提出的方法

• 提出一个以目标为驱动的分类法，将任务分为训练数据开发、推理数据开发和数据维护。
• 将论文按自动化与协作进行分类，并指派自动化水平或人类参与度。
• 总结每个子目标的代表性任务和方法（例如数据收集、标注、准备、降维、扩增等）。
• 分析基准并提供覆盖数据生命周期阶段的全局视角。
• 讨论数据为中心的人工智能的未来方向与尚待解决的挑战。

实验结果

研究问题

• RQ1 RQ1：使 AI 数据为中心需要哪些必要任务？
• RQ2 RQ2：自动化在开发和维护数据中为何重要？
• RQ3 RQ3：在哪些情形以及为何在数据为中心的人工智能中必需有人类参与？
• RQ4 RQ4：数据为中心的人工智能目前的进展如何？

主要发现

• 为数据为中心的人工智能的概念、任务、算法、挑战和基准提供全面概览。
• 引入以目标为驱动的分类法，将任务与训练数据开发、推理数据开发和数据维护对齐。
• 引入面向自动化与协作的分类，将方法映射到人类参与度。
• 讨论将数据为中心的方法与以模型为中心的方法并行作为互补的必要性。
• 覆盖从数据收集到数据维护和流程搜索等广泛任务。