[论文解读] Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar

Iddo Drori, Yamuna Krishnamurthy+5 more|Open Repository and Bibliography (University of Luxembourg)|May 24, 2019

Machine Learning and Data Classification参考文献 21被引用 18

一句话总结

本文提出了一种基于强化学习的AutoML系统，该系统利用流水线语法和预训练神经网络，实现更快、更高效的搜索，以合成机器学习流水线。通过结合基于模型的强化学习、语法约束和迁移学习，该方法在性能上达到当前最先进水平，速度比现有的AutoML工具（如AutoSklearn）快达10倍。

ABSTRACT

Automatic machine learning is an important problem in the forefront of machine learning. The strongest AutoML systems are based on neural networks, evolutionary algorithms, and Bayesian optimization. Recently AlphaD3M reached state-of-the-art results with an order of magnitude speedup using reinforcement learning with self-play. In this work we extend AlphaD3M by using a pipeline grammar and a pre-trained model which generalizes from many different datasets and similar tasks. Our results demonstrate improved performance compared with our earlier work and existing methods on AutoML benchmark datasets for classification and regression tasks. In the spirit of reproducible research we make our data, models, and code publicly available.

研究动机与目标

• 解决AutoML中机器学习流水线合成所面临的高维、组合性搜索空间问题。
• 通过利用一个在不同数据集上具有泛化能力的预训练模型，提升样本效率和流水线搜索的收敛速度。
• 通过使用形式化的流水线语法，限制有效流水线操作，降低搜索复杂度并提升可扩展性。
• 通过结合蒙特卡洛树搜索（MCTS）与神经网络策略和价值预测，实现在AutoML中快速获得早期性能收益。
• 通过公开发布数据、模型和代码，支持可复现的研究。

提出的方法

• 该系统将流水线合成建模为单人游戏，其中每个状态代表一个有效流水线，动作是原语的插入、删除或替换，奖励基于流水线性能。
• 定义了一种流水线语法，以限制搜索空间，通过仅允许语法上有效的流水线操作，降低分支因子和MCTS的平均深度。
• 训练一个序列模型（神经网络）以预测动作概率和流水线性能估计值，从而指导蒙特卡洛树搜索（MCTS）的决策。
• 系统采用基于模型的强化学习，结合自我对弈和迭代改进，其中神经网络根据MCTS的模拟结果和实际流水线评估进行更新。
• 在多样化数据集上对预训练模型进行微调，以实现对新任务的快速适应，减少从头开始训练的需求。
• 该架构将元特征、当前流水线和任务类型作为神经网络的输入，从而实现在不同数据集和任务之间的泛化能力。

实验结果

研究问题

• RQ1 使用流水线语法在AutoML流水线合成中对搜索效率和性能有何影响？
• RQ2 与从头训练相比，预训练神经网络在AutoML中多大程度上提升了早期性能和收敛速度？
• RQ3 与仅使用MCTS相比，MCTS与神经网络策略的结合在样本效率和随时间推移的性能提升方面表现如何？
• RQ4 与当前最先进水平的AutoML基线相比，该方法是否能在显著减少计算时间的前提下实现具有竞争力的性能？
• RQ5 当通过预训练模型进行迁移学习时，该系统在多样化数据集和任务上的泛化能力如何？

主要发现

• 使用流水线语法使MCTS的平均分支因子降低了三倍，平均搜索深度降低了一个数量级，显著提升了搜索效率。
• 在所有74个OpenML数据集上，使用语法后性能保持稳定，尽管搜索空间大幅减少，表明解决方案质量未下降。
• 预训练模型在4秒内（包括元特征计算）即达到高质量解，速度是从头训练的两倍。
• 预训练模型在性能上与从头训练相当或更优，并且在计算的最初几秒内优于AutoSklearn。
• 与AutoSklearn相比，该方法在性能上具有竞争力，且速度提升了约一个数量级，尤其在计算的前几分钟表现显著。
• 消融实验表明，使用神经网络与MCTS结合所需步数显著少于仅使用MCTS，证明了策略网络和价值网络在引导搜索方面的价值。