[论文解读] AlphaD3M: Machine Learning Pipeline Synthesis

Iddo Drori, Yamuna Krishnamurthy+6 more|Open Repository and Bibliography (University of Luxembourg)|Nov 3, 2021

Machine Learning and Data Classification参考文献 16被引用 21

一句话总结

AlphaD3M 是一个使用元强化学习结合自对弈和蒙特卡洛树搜索（MCTS）的 AutoML 系统，通过在基元上执行编辑操作来合成机器学习流水线，在 OpenML 数据集上实现了具有竞争力的性能，同时将计算时间减少了整整一个数量级（从数小时缩短至数分钟），并通过设计确保了可解释性。

ABSTRACT

We introduce AlphaD3M, an automatic machine learning (AutoML) system based on meta reinforcement learning using sequence models with self play. AlphaD3M is based on edit operations performed over machine learning pipeline primitives providing explainability. We compare AlphaD3M with state-of-the-art AutoML systems: Autosklearn, Autostacker, and TPOT, on OpenML datasets. AlphaD3M achieves competitive performance while being an order of magnitude faster, reducing computation time from hours to minutes, and is explainable by design.

研究动机与目标

• 开发一种高效且可解释的 AutoML 系统，能够为多样化数据集和任务合成端到端的机器学习流水线。
• 解决自动化机器学习中流水线与超参数组合的高维搜索空间问题。
• 利用带有自对弈的元强化学习，通过经验积累与策略优化迭代改进流水线合成。
• 通过将流水线构建建模为一系列编辑操作，实现可解释性，使所有决策均可追溯。
• 与现有 AutoML 系统（如 TPOT、Autosklearn 和 Autostacker）相比，显著减少计算时间。

提出的方法

• 将流水线合成问题建模为单人游戏，其中状态包含元数据、任务和当前流水线配置。
• 使用深度神经网络预测动作概率和流水线性能估计值，以在搜索过程中引导 MCTS。
• 对流水线基元应用插入、删除、替换等编辑操作，以生成新的流水线状态，确保可解释性。
• 采用结合自对弈的蒙特卡洛树搜索（MCTS）高效探索高维搜索空间，利用神经网络预测结果引导探索。
• 通过真实世界生成流水线的评估结果更新损失函数，结合神经网络预测与 MCTS 滚动结果以优化策略。
• 实施专家迭代机制，实现迭代式自我改进，使智能体通过自身生成的经验学习，持续提升性能。

实验结果

研究问题

• RQ1 基于自对弈和 MCTS 的元强化学习方法是否能有效搜索机器学习流水线的高维空间？
• RQ2 AlphaD3M 在准确率和速度方面与当前最先进的 AutoML 系统（如 TPOT、Autosklearn 和 Autostacker）相比表现如何？
• RQ3 在流水线构建中使用编辑操作在多大程度上实现了最终模型的可解释性？
• RQ4 该系统是否能在与现有方法相比将计算时间减少一个数量级的同时，实现具有竞争力的性能？
• RQ5 该方法在 OpenML 基准中对多样化表格型数据集和任务（分类、回归）的泛化能力如何？

主要发现

• 在 OpenML 的 180 个分类数据集中，AlphaD3M 在 75% 的数据集中优于基线 SGD 流水线，在 18% 的数据集中表现相当，仅在 7% 的数据集中表现更差。
• AlphaD3M 在多样化估计器上实现了具有竞争力的性能，如图 3 所示的归一化性能比较结果所示。
• 平均而言，AlphaD3M 将计算时间减少了整整一个数量级——实现结果的时间从数小时缩短至数分钟，相较于 TPOT 实现了 7.3 至 32.2 倍的加速，相较于 Autostacker 实现了 4 至 15.1 倍的加速。
• AlphaD3M 在基准 OpenML 数据集上的表现与 TPOT、Autosklearn 和 Autostacker 相当，交叉验证结果的置信区间存在重叠。
• 该系统通过使用编辑操作确保了完全的可解释性，因为每个流水线构建步骤均可追溯且源自明确的操作。
• 神经网络策略学习与 MCTS 的结合实现了对复杂流水线空间的高效探索，从而加快收敛速度并提升样本效率。