[论文解读] An ADMM Based Framework for AutoML Pipeline Configuration

Sijia Liu, Parikshit Ram+7 more|arXiv (Cornell University)|May 1, 2019

Machine Learning and Data Classification参考文献 29被引用 10

一句话总结

本文提出了一种基于ADMM的AutoML流水线配置框架，将复杂的混合整数与连续变量、黑箱优化问题分解为可处理的子问题。通过利用ADMM的交替优化机制，该方法高效地处理了联合算法选择与超参数调优，同时自然地融入一般性黑箱约束，在50%的数据集上优于Auto-sklearn和TPOT，实现了显著的速度提升和准确率增益。

ABSTRACT

We study the AutoML problem of automatically configuring machine learning pipelines by jointly selecting algorithms and their appropriate hyper-parameters for all steps in supervised learning pipelines. This black-box (gradient-free) optimization with mixed integer & continuous variables is a challenging problem. We propose a novel AutoML scheme by leveraging the alternating direction method of multipliers (ADMM). The proposed framework is able to (i) decompose the optimization problem into easier sub-problems that have a reduced number of variables and circumvent the challenge of mixed variable categories, and (ii) incorporate black-box constraints along-side the black-box optimization objective. We empirically evaluate the flexibility (in utilizing existing AutoML techniques), effectiveness (against open source AutoML toolkits),and unique capability (of executing AutoML with practically motivated black-box constraints) of our proposed scheme on a collection of binary classification data sets from UCI ML& OpenML repositories. We observe that on an average our framework provides significant gains in comparison to other AutoML frameworks (Auto-sklearn & TPOT), highlighting the practical advantages of this framework.

研究动机与目标

• 为解决监督机器学习流水线中联合算法选择与超参数优化的挑战。
• 在无需梯度信息的情况下处理AutoML中的混合整数与连续变量空间。
• 将一般性黑箱约束整合到AutoML优化过程中。
• 利用ADMM将复杂的流水线配置问题分解为更简单、可解的子问题。
• 在效率与效果上超越现有的AutoML工具包，如Auto-sklearn和TPOT。

提出的方法

• 该框架使用增广拉格朗日乘子法（ADMM）将流水线配置问题分解为三个子问题：连续超参数优化、整数投影和算法选择。
• ADMM通过在原始变量和对偶变量之间交替优化，实现了混合整数与连续变量的解耦。
• 通过ADMM框架自然地整合黑箱约束，而无需改变子问题的结构。
• 设计了一种新颖的目标函数，用于模拟AutoML评估成本，同时支持ADMM算法的快速基准测试。
• 该框架支持可变长度、非顺序且可重用的流水线模块，从而能够探索复杂的架构。
• 算法使用固定的随机种子，以确保在函数评估之间的可重现性。

实验结果

研究问题

• RQ1 ADMM能否有效将联合算法选择与超参数优化问题分解为更简单、可解的子问题？
• RQ2 与现有的AutoML工具（如Auto-sklearn和TPOT）相比，所提出的基于ADMM的框架表现如何？
• RQ3 该框架在AutoML流水线配置中处理一般性黑箱约束的能力有多强？
• RQ4 该分解是否在实际AutoML任务中带来了显著的速度提升和性能改进？
• RQ5 该框架能否高效探索复杂、非顺序且可变长度的流水线？

主要发现

• 基于ADMM的框架在UCI和OpenML数据仓库的基准数据集中有50%的表现优于Auto-sklearn和TPOT。
• Auto-sklearn在27%的数据集中表现最佳，而TPOT在20%的数据集中表现最佳。
• 在许多情况下，该框架的优化时间相比基线方法实现了超过10倍的速度提升。
• 该方法在平均性能上相比其他AutoML框架提升了10%。
• 该框架成功地将一般性黑箱约束整合到优化过程中，而无需修改核心子问题结构。
• 人工设计的目标函数实现了ADMM算法的高效评估，计算成本极低，验证了其可扩展性与鲁棒性。