[论文解读] Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models

Jeroen van Hoof, Joaquin Vanschoren|arXiv (Cornell University)|Jan 6, 2021

Machine Learning and Data Classification参考文献 41被引用 10

一句话总结

Hyperboost 提出了一种新颖的贝叶斯优化方法，用于在自动化机器学习（AutoML）中进行超参数调优。该方法采用分位数回归的梯度提升来估计乐观性能，并利用到最近观测到的配置的曼哈顿距离来引导探索。在一系列分类问题上，该方法优于 SMAC，表明梯度提升代理模型可有效替代最先进的超参数优化系统中的随机森林模型。

ABSTRACT

Bayesian Optimization is a popular tool for tuning algorithms in automatic machine learning (AutoML) systems. Current state-of-the-art methods leverage Random Forests or Gaussian processes to build a surrogate model that predicts algorithm performance given a certain set of hyperparameter settings. In this paper, we propose a new surrogate model based on gradient boosting, where we use quantile regression to provide optimistic estimates of the performance of an unobserved hyperparameter setting, and combine this with a distance metric between unobserved and observed hyperparameter settings to help regulate exploration. We demonstrate empirically that the new method is able to outperform some state-of-the art techniques across a reasonable sized set of classification problems.

研究动机与目标

• 开发一种比现有方法（如随机森林）更可扩展且更准确的代理模型，用于贝叶斯优化中的超参数调优。
• 将以高预测性能著称的梯度提升模型适配到贝叶斯优化中，而传统方法通常依赖高斯过程或随机森林。
• 解决从梯度提升模型中获取不确定性估计的挑战，以实现有效的探索-利用权衡。
• 通过结合分位数回归与基于距离的正则化，提升在标准自动化机器学习基准问题上的性能。
• 提供一种可行的替代方案，用于 SMAC 及其他基于贝叶斯优化的超参数优化工具，采用更强大的代理模型。

提出的方法

• 使用梯度提升回归来预测未观测到的超参数配置的性能，从而替代传统的代理模型（如随机森林）。
• 采用分位数回归（第 90 百分位数）生成性能的乐观估计，以促进对潜在更优配置的探索。
• 引入基于曼哈顿距离到最近观测配置的奖励机制，以鼓励在稀疏区域进行探索。
• 将乐观预测与距离奖励结合到单一获取函数中，用于对候选配置进行排序。
• 在构建 kD-树以高效查询高维空间中的最近邻时，使用主成分分析（PCA）降低维度。
• 采用混合方法，独立于模型估算稀疏性带来的不确定性，避免依赖于模型本身的不确定性估计。

实验结果

研究问题

• RQ1 梯度提升能否被有效适配为贝叶斯优化中超参数调优的代理模型？
• RQ2 将分位数回归与基于距离的探索相结合，是否能提升优化性能，相比标准代理模型？
• RQ3 Hyperboost 在标准分类基准问题上与最先进的 HPO 工具 SMAC 相比表现如何？
• RQ4 降维技术（如 PCA）对高维配置空间中最近邻查询的效率与性能有何影响？
• RQ5 梯度提升代理模型在收敛速度和最终性能方面，能否优于随机森林？

主要发现

• Hyperboost 在合理规模的分类问题集上优于 SMAC，表现出更优的优化性能。
• 分位数回归的使用提供了有效的乐观估计，有效引导搜索朝向高性能配置。
• 引入最近观测配置的曼哈顿距离增强了在稀疏区域的探索能力，提升了收敛性。
• 通过 PCA 进行降维显著减少了 kD-树的构建与查询时间，仅带来轻微的性能损失。
• 该方法在高维和混合类型超参数空间中，展现出作为 SMAC 可扩展且准确的替代方案的潜力。
• 结合乐观预测与距离奖励的获取函数，相比基线方法能实现更快的收敛速度和更优的最终解。