[论文解读] Evaluation of a Tree-based Pipeline Optimization Tool for Automating Data Science

Randal S. Olson, Nathan Bartley+2 more|arXiv (Cornell University)|Mar 20, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用 32

一句话总结

该论文介绍了TPOT，一种基于树状结构的管道优化工具，利用遗传编程自动化机器学习管道设计。实验表明，TPOT在极少用户输入的情况下实现了具有竞争力的分类准确率，而通过Pareto优化生成的管道显著更紧凑、更易解释，优于随机搜索。

ABSTRACT

As the field of data science continues to grow, there will be an ever-increasing demand for tools that make machine learning accessible to non-experts. In this paper, we introduce the concept of tree-based pipeline optimization for automating one of the most tedious parts of machine learning---pipeline design. We implement an open source Tree-based Pipeline Optimization Tool (TPOT) in Python and demonstrate its effectiveness on a series of simulated and real-world benchmark data sets. In particular, we show that TPOT can design machine learning pipelines that provide a significant improvement over a basic machine learning analysis while requiring little to no input nor prior knowledge from the user. We also address the tendency for TPOT to design overly complex pipelines by integrating Pareto optimization, which produces compact pipelines without sacrificing classification accuracy. As such, this work represents an important step toward fully automating machine learning pipeline design.

研究动机与目标

• 自动化非专家在机器学习管道设计中的繁琐过程。
• 减少在选择预处理步骤、模型和超参数时对专家知识的依赖。
• 通过引导式进化搜索提升管道的效率和可解释性。
• 集成Pareto优化以平衡准确率与管道复杂度。
• 证明自动化管道设计可优于基础的机器学习分析。

提出的方法

• TPOT使用遗传编程演化以抽象语法树表示的机器学习管道。
• 每个管道由从预定义搜索空间中选择的数据预处理和建模算子序列组成。
• 基于训练数据上的交叉验证评估适应度，以分类准确率为指标。
• 集成Pareto优化框架，同时最大化准确率并最小化管道复杂度（算子数量）。
• 算法通过选择、交叉和变异操作在多代中演化高性能管道。
• 最终管道以可执行的Python代码形式导出，供用户检查和部署。

实验结果

研究问题

• RQ1 使用遗传编程进行自动化管道优化是否能在无用户输入的情况下优于基础的机器学习工作流？
• RQ2 与随机生成管道相比，引导式进化搜索在性能和效率方面表现如何？
• RQ3 Pareto优化能否在不牺牲分类准确率的前提下有效降低管道复杂度？
• RQ4 TPOT在大规模或复杂数据集上的可扩展性如何？
• RQ5 TPOT在多大程度上能发现人类专家可能忽略的新型高性能管道配置？

主要发现

• 在多个真实世界和模拟数据集上，TPOT实现的分类准确率与或优于基础机器学习分析。
• 所有TPOT和TPOT-Pareto运行均在48小时内完成，而TPOT-Random在更大数据集（如Hill-Valley、spambase）上120小时内未能完成10,000次评估。
• TPOT-Random管道平均包含6个算子，而TPOT和TPOT-Pareto分别平均为4个和2个算子，表明引导搜索显著提升了紧凑性。
• 尽管准确率相似，TPOT-Pareto管道在可解释性和计算效率方面显著优于随机管道。
• 引导式进化搜索对可扩展性和效率至关重要，因为随机搜索在大尺寸数据集上变得不可行。
• Pareto优化的集成使高准确率、低复杂度管道的发现成为可能，从而提升了可解释性和生产就绪性。