[论文解读] Automated Machine Learning via ADMM.

Sijia Liu, Parikshit Ram+5 more|arXiv (Cornell University)|May 1, 2019

Machine Learning and Data Classification参考文献 33被引用 9

一句话总结

该论文提出了一种基于ADMM的AutoML框架，通过增广拉格朗日函数对问题进行分解，联合优化算法选择与超参数优化（HPO），实现了对混合整数HPO的高效、低查询次数的贝叶斯优化，以及基于组合多臂赌博机的算法选择。该方法在基准数据集上的表现优于TPOT和Auto-sklearn等最先进的AutoML工具。

ABSTRACT

We study the automated machine learning (AutoML) problem of jointly selecting appropriate algorithms from an algorithm portfolio as well as optimizing their hyper-parameters for certain learning tasks. The main challenges include a) the coupling between algorithm selection and hyper-parameter optimization (HPO), and b) the black-box optimization nature of the problem where the optimizer cannot access the gradients of the loss function but may query function values. To circumvent these difficulties, we propose a new AutoML framework by leveraging the alternating direction method of multipliers (ADMM) scheme. Due to the splitting properties of ADMM, algorithm selection and HPO can be decomposed through the augmented Lagrangian function. As a result, HPO with mixed continuous and integer constraints are efficiently handled through a query-efficient Bayesian optimization approach and Euclidean projection operator that yields a closed-form solution. Algorithm selection in ADMM is naturally interpreted as a combinatorial bandit problem. The effectiveness of our proposed methodology is compared to state-of-the-art AutoML schemes such as TPOT and Auto-sklearn on numerous benchmark data sets.

研究动机与目标

• 为自动机器学习（AutoML）中的算法选择与超参数优化（HPO）的耦合挑战提供解决方案。
• 处理具有混合连续与整数超参数的黑箱、无梯度HPO问题。
• 将算法选择建模为组合多臂赌博机问题，以实现对算法组合的高效探索。
• 开发一个统一框架，通过ADMM分解联合优化问题，以提升可扩展性与收敛性。

提出的方法

• 利用增广拉格朗日函数，通过交替方向乘子法（ADMM）将联合的算法选择与HPO问题进行分解。
• 采用低查询次数的贝叶斯优化策略，通过欧几里得投影实现闭式解，以处理混合整数超参数空间。
• 将算法选择建模为组合多臂赌博机问题，实现对离散算法选择的高效探索。
• 引入一种分解机制，将算法选择与HPO分离为交替求解的子问题，每个子问题均可使用专门的优化技术求解。
• 利用增广拉格朗日函数强制算法选择与HPO组件之间的一致性，确保协同优化。
• 应用欧几里得投影，以在优化过程中保持整数与连续超参数的可行性。

实验结果

研究问题

• RQ1 ADMM能否在保持性能的前提下，有效解耦AutoML中的算法选择与超参数优化？
• RQ2 当与ADMM集成时，贝叶斯优化在处理混合整数超参数空间时的效率如何？
• RQ3 与随机或贪心选择策略相比，算法选择的组合多臂赌博机建模方法是否能实现更优性能？
• RQ4 所提出的基于ADMM的框架是否在泛化能力与更低的查询复杂度方面优于当前最先进的AutoML工具？

主要发现

• 所提出的基于ADMM的AutoML框架在多个基准数据集上表现优于TPOT和Auto-sklearn。
• 将贝叶斯优化与欧几里得投影结合，实现了对混合整数超参数空间的高效且可行的优化。
• 算法选择的组合多臂赌博机建模方法可实现对算法组合的有效探索，且计算开销更低。
• 由于贝叶斯优化组件的低查询特性，该框架表现出更高的样本效率。
• 通过ADMM的分解机制，实现了对联合算法选择与HPO问题的稳定且可扩展的优化。
• 实证结果表明，该方法在预测性能上始终优于或匹配当前最先进的AutoML基线。