[论文解读] How can AI Automate End-to-End Data Science?

Charų C. Aggarwal, Djallel Bouneffouf+10 more|arXiv (Cornell University)|Oct 22, 2019

Machine Learning and Data Classification参考文献 47被引用 5

一句话总结

本文提出了一套全面的端到端自动化数据科学（AutoDS）框架，通过整合人工智能技术，实现从数据收集与整合到模型训练、调优及部署的整个数据科学流程自动化。该研究综合了现有方法，识别出计算成本和领域知识融合等关键挑战，并主张结合无监督学习、强化学习与迁移学习，以实现可扩展、无需人工干预的数据科学系统。

ABSTRACT

Data science is labor-intensive and human experts are scarce but heavily involved in every aspect of it. This makes data science time consuming and restricted to experts with the resulting quality heavily dependent on their experience and skills. To make data science more accessible and scalable, we need its democratization. Automated Data Science (AutoDS) is aimed towards that goal and is emerging as an important research and business topic. We introduce and define the AutoDS challenge, followed by a proposal of a general AutoDS framework that covers existing approaches but also provides guidance for the development of new methods. We categorize and review the existing literature from multiple aspects of the problem setup and employed techniques. Then we provide several views on how AI could succeed in automating end-to-end AutoDS. We hope this survey can serve as insightful guideline for the AutoDS field and provide inspiration for future research.

研究动机与目标

• 将AutoDS挑战定义并形式化为对数据科学工作流的全面、端到端自动化。
• 识别并分类数据科学各阶段的关键挑战，包括数据集成、模型选择、超参数调优以及模型新鲜度。
• 提出一个通用的AutoDS框架，统一现有方法，并为自动化数据科学的未来研究提供指导。
• 探讨人工智能在自动化元决策（如流程组合、资源分配和模型重训练）中的作用。
• 解决开放性问题，如终身学习、无监督表征学习以及自动化系统中的计算成本。

提出的方法

• 提出一个涵盖数据科学全流程的通用AutoDS框架，从数据摄入到部署。
• 根据问题设置（如监督式与无监督式）和技术方法（如强化学习、贝叶斯优化）对现有AutoDS技术进行分类。
• 整合主动学习与AI规划器，以实现自动化数据收集与模式集成，尤其适用于异构和非结构化数据环境。
• 利用深度学习与神经架构搜索（NAS）实现自动化特征工程与模型架构发现。
• 提出结合强化学习、无监督预训练与迁移学习，以实现终身自适应学习系统。
• 强调使用声明式接口与领域特定建模，以提升数据集成与ETL流程中的鲁棒性与可重用性。

实验结果

研究问题

• RQ1 人工智能如何在最小人工干预下，自动化从数据收集到模型部署的全谱数据科学任务？
• RQ2 自动化端到端数据科学的主要瓶颈是什么？如何通过人工智能驱动的技术加以解决？
• RQ3 在不引入偏差或限制模型泛化能力的前提下，如何将领域知识整合到自动化系统中？
• RQ4 如何结合无监督学习与强化学习，以实现终身自进化、自我改进的数据科学系统？
• RQ5 计算成本与硬件限制在自动化数据科学可扩展性中扮演何种角色？新兴范式如量子计算如何提供帮助？

主要发现

• 主动学习与AI规划器在非结构化与异构数据环境中，已成功实现数据收集与模式集成的自动化。
• 深度学习已实现特征工程的自动化，降低了对人工特征构建的依赖，但在模型选择与超参数调优方面仍存在挑战。
• 缺乏显式领域知识的数据驱动模型在自然语言处理与游戏对战等任务中常优于基于规则的系统，表明在某些情况下，领域知识可能成为模型泛化的限制因素。
• 强化学习、无监督预训练与迁移学习对实现终身学习至关重要，但其无缝集成仍是开放挑战。
• 计算成本仍是AutoDS的主要瓶颈，当前系统远未达到生物学习过程的规模与效率。
• 尽管生成模型（如GAN）取得进展，但监督式、无监督式与强化学习等多种学习范式的整合仍难以实现。