[论文解读] Augmented Data Science: Towards Industrialization and Democratization of Data Science

Hüseyin Uzunalioğlu, Jin Cao+6 more|arXiv (Cornell University)|Sep 12, 2019

Scientific Computing and Data Management被引用 6

一句话总结

本文提出增强型数据科学（ADS），一种领域无关、端到端的框架，通过统计学与机器学习技术自动化完成数据探索、清洗、特征工程及模型选择，显著降低数据科学中的手动工作量。该方法在真实数据集上实现0.781的AUC，展现出其在极低人工干预下实现数据科学工业化与普及化的潜力。

ABSTRACT

Conversion of raw data into insights and knowledge requires substantial amounts of effort from data scientists. Despite breathtaking advances in Machine Learning (ML) and Artificial Intelligence (AI), data scientists still spend the majority of their effort in understanding and then preparing the raw data for ML/AI. The effort is often manual and ad hoc, and requires some level of domain knowledge. The complexity of the effort increases dramatically when data diversity, both in form and context, increases. In this paper, we introduce our solution, Augmented Data Science (ADS), towards addressing this "human bottleneck" in creating value from diverse datasets. ADS is a data-driven approach and relies on statistics and ML to extract insights from any data set in a domain-agnostic way to facilitate the data science process. Key features of ADS are the replacement of rudimentary data exploration and processing steps with automation and the augmentation of data scientist judgment with automatically-generated insights. We present building blocks of our end-to-end solution and provide a case study to exemplify its capabilities.

研究动机与目标

• 为解决数据科学中的'人力瓶颈'问题，即高达80%的工作量集中于数据准备而非建模。
• 通过实现从多样化数据集中快速、可扩展地提取洞察，推动数据科学的工业化。
• 通过自动化与智能增强，赋能非专家执行基础数据科学任务，实现数据科学的普及化。
• 开发一种任务无关、稳健且可交互的系统，能够处理原始、低质量数据，并在需要时支持用户干预。

提出的方法

• ADS使用自动化的统计与机器学习技术分析数据结构、质量与关系，无需领域知识。
• 采用无监督与半监督方法检测数据质量问题，如缺失模式、相关性与异常值。
• 通过数据驱动方法自动生成特征，重点关注保留数据语义与关系。
• 利用lightGBM与贝叶斯优化等算法构建模型选择流水线，识别最佳性能模型。
• 通过提供可视化与分析洞察支持用户增强，使专家在自动化能力不足时可介入。
• 设计为端到端流水线，将数据发现、特征工程与模型调优整合为单一、可交互的工作流。

实验结果

研究问题

• RQ1 自动化、领域无关的技术能否显著减少数据准备与特征工程中的手动工作量？
• RQ2 端到端、数据驱动的系统在无须人工领域专业知识的情况下，能否有效生成高质量特征与模型？
• RQ3 在数据质量差或复杂的情况下，自动化洞察在多大程度上可增强人类判断？
• RQ4 此类系统能否在极少人工输入下实现与专家优化模型相媲美甚至更优的性能？

主要发现

• ADS仅通过自动化特征生成与模型选择，在真实世界信贷风险数据集上实现AUC 0.781，展现出强劲基线性能。
• 系统成功识别出系统性缺失模式——例如31列中有73%同时缺失——从而支持更优的数据处理决策。
• 检测到高度相关的列对与结构模式（如关联图中的团），在无先验假设下揭示隐藏数据关系。
• 该框架显著减少了手动数据探索与预处理的需求，使从新且多样化数据集中快速提取洞察成为可能。
• 公共排行榜上表现最佳的模型需数百次提交与专家调优，而ADS仅通过几次自动化运行即实现接近顶尖性能。
• 结果表明，即使不依赖人工设计的领域特征，自动化特征工程与模型选择仍可生成具有竞争力的模型；然而，通过整合专家知识可进一步提升性能。