[论文解读] Identifying and Harnessing the Building Blocks of Machine Learning Pipelines for Sensible Initialization of a Data Science Automation Tool

Randal S. Olson, Jason H. Moore|arXiv (Cornell University)|Jul 29, 2016

Evolutionary Algorithms and Applications被引用 5

一句话总结

本文提出了一种针对TPOT（一种基于遗传编程的自动化机器学习（AutoML）系统）的合理初始化方法，通过识别并利用100个频繁出现的机器学习流水线构建模块（即预处理与建模操作的短序列），显著提升了TPOT在某一基准测试上的性能，同时在其他基准上未造成性能下降，表明专家提炼的流水线模式可有效提升AutoML的效率与效果。

ABSTRACT

As data science continues to grow in popularity, there will be an increasing need to make data science tools more scalable, flexible, and accessible. In particular, automated machine learning (AutoML) systems seek to automate the process of designing and optimizing machine learning pipelines. In this chapter, we present a genetic programming-based AutoML system called TPOT that optimizes a series of feature preprocessors and machine learning models with the goal of maximizing classification accuracy on a supervised classification problem. Further, we analyze a large database of pipelines that were previously used to solve various supervised classification problems and identify 100 short series of machine learning operations that appear the most frequently, which we call the building blocks of machine learning pipelines. We harness these building blocks to initialize TPOT with promising solutions, and find that this sensible initialization method significantly improves TPOT's performance on one benchmark at no cost of significantly degrading performance on the others. Thus, sensible initialization with machine learning pipeline building blocks shows promise for GP-based AutoML systems, and should be further refined in future work.

研究动机与目标

• 通过在初始化阶段融入专家知识，解决基于遗传编程的AutoML系统收敛速度慢的挑战。
• 从大规模历史流水线数据库中识别重复出现的、高频的机器学习操作序列（即构建模块）。
• 评估在TPOT的遗传编程种群中使用这些构建模块进行初始化，是否能提升其在多样化分类基准上的性能。
• 探索利用元特征和元学习进一步优化特定数据集构建模块选择的潜力。
• 将TPOT定位为一名数据科学助手，能够生成人类竞争力强、可定制的流水线，同时减少人工工作量。

提出的方法

• 分析了包含160个监督分类流水线的大规模数据库，提取出最频繁出现的100个短序列机器学习操作。
• 将‘构建模块’定义为在高效流水线中反复出现的小型、可重用的预处理与建模步骤序列（例如：标准化 + 随机森林）。
• 将这些构建模块整合到TPOT遗传编程算法的初始种群中，形成一种‘合理初始化’（Sensible Initialization, SI）策略。
• 使用Pareto优化方法，在进化过程中同时最大化分类准确率并最小化流水线复杂度。
• 在160个基准数据集上，将采用合理初始化的TPOT（TPOT-SI）与标准TPOT进行对比，以评估性能提升。
• 利用Python中TPOT的开源实现，以确保可复现性并促进社区采纳。

实验结果

研究问题

• RQ1 是否能够识别出频繁出现的机器学习流水线模式（即构建模块），并用于改进基于遗传编程的AutoML系统的初始化？
• RQ2 与随机初始化相比，使用这些构建模块进行合理初始化是否能实现TPOT的更快收敛和更高准确率？
• RQ3 合理初始化带来的性能提升是否在多样化机器学习基准上保持一致，还是具有数据集特异性？
• RQ4 能否利用元特征和元学习进一步优化针对特定数据集的构建模块选择？
• RQ5 使用构建模块如何影响进化流水线的多样性与质量，特别是在准确率和紧凑性方面？

主要发现

• 作者从160个分类流水线的数据库中识别出100个频繁出现的机器学习流水线构建模块。
• 使用这些构建模块进行合理初始化，显著提升了TPOT在某一基准上的性能，且未在其他基准上造成性能下降。
• TPOT-SI在160个基准中的52个上实现了中位数平衡准确率超过90%，在79个基准上超过80%，展现出强大的泛化能力。
• 该方法通过将专家知识嵌入初始种群，成功减少了对穷举搜索的依赖，加速了收敛。
• 结果表明，构建模块可作为GP-based AutoML中的有效先验，提升效率而不损失解的质量。
• 该方法支持将TPOT定位为‘数据科学助手’的愿景，能够生成高质量、可导出的Python代码，供从业者进一步优化。