[论文解读] Automating biomedical data science through tree-based pipeline optimization

Randal S. Olson, Ryan J. Urbanowicz+4 more|arXiv (Cornell University)|Jan 28, 2016

Evolutionary Algorithms and Applications参考文献 13被引用 26

一句话总结

该论文介绍了TPOT，一种基于树状结构的管道优化工具，利用遗传编程自动设计和优化生物医学数据的机器学习管道。它在模拟和真实的遗传数据集上实现了具有竞争力的分类准确率，包括发现了能提升性能的新型合成特征构造器，同时突出了过拟合等问题以及对更优构建模块的需求。

ABSTRACT

Over the past decade, data science and machine learning has grown from a mysterious art form to a staple tool across a variety of fields in academia, business, and government. In this paper, we introduce the concept of tree-based pipeline optimization for automating one of the most tedious parts of machine learning---pipeline design. We implement a Tree-based Pipeline Optimization Tool (TPOT) and demonstrate its effectiveness on a series of simulated and real-world genetic data sets. In particular, we show that TPOT can build machine learning pipelines that achieve competitive classification accuracy and discover novel pipeline operators---such as synthetic feature constructors---that significantly improve classification accuracy on these data sets. We also highlight the current challenges to pipeline optimization, such as the tendency to produce pipelines that overfit the data, and suggest future research paths to overcome these challenges. As such, this work represents an early step toward fully automating machine learning pipeline design.

研究动机与目标

• 自动化生物医学数据科学中机器学习管道设计的繁琐过程。
• 开发一种能够自动选择最优数据转换、特征工程和机器学习模型的系统。
• 评估进化计算是否能在真实和模拟的遗传数据上发现高性能且可泛化的管道。
• 识别诸如过拟合和缺乏有效构建模块等局限性。
• 为数据科学中完全自动化、智能化的管道构建奠定基础。

提出的方法

• TPOT 使用遗传编程来演化表示为抽象语法树的机器学习管道。
• 每个管道由一系列操作组成，包括数据预处理、特征选择、特征构造和模型拟合。
• 使用保留测试集上的平衡准确率来评估适应度，以促进泛化。
• 算法对管道树执行选择、交叉和变异操作，以高效探索搜索空间。
• 进化算子同时作用于模型类型和超参数，实现端到端优化。
• 该系统在模拟的上位性遗传数据和一个真实世界的CGEMS前列腺癌数据集上进行了评估。

实验结果

研究问题

• RQ1 遗传编程能否有效自动化生物医学数据的机器学习管道设计？
• RQ2 TPOT 是否发现了新型管道算子（如合成特征构造器），从而提升分类准确率？
• RQ3 与随机搜索相比，TPOT 的引导搜索在性能和效率方面表现如何？
• RQ4 TPOT 管道在多大程度上出现过拟合？有哪些方法可改善泛化能力？
• RQ5 TPOT 能否识别出已知的生物标志物，表明其具备知识发现的潜力？

主要发现

• TPOT 在模拟和真实遗传数据集上均实现了具有竞争力的分类准确率，优于随机森林和决策树等基线模型。
• 在 CGEMS 前列腺癌数据集上，TPOT 发现了显著提升分类准确率的合成特征，包括先前与前列腺癌侵袭性相关的 SNPs（如 NAT2 和 BCL2）。
• 该系统发现了新型管道算子，如合成特征构造器，其性能超越了标准特征工程。
• 初始试验中，基于遗传编程的引导搜索并未优于随机搜索，表明进化过程缺乏有效的构建模块。
• TPOT 管道表现出对测试集的过拟合现象，表明需要改进泛化策略，如多目标优化。
• 结果表明，TPOT 通过识别相关特征和相互作用，可在生物知识发现方面发挥积极作用。