[论文解读] A Comparative study of Hyper-Parameter Optimization Tools

Shashank Shekhar, Adesh Bansode+1 more|arXiv (Cornell University)|Jan 17, 2022

Metaheuristic Optimization Algorithms Research被引用 6

一句话总结

本文在两个基准测试上评估了四种超参数优化（HPO）库——Optuna、HyperOpt、Optunity 和 SMAC：一个是综合算法选择与超参数优化（CASH）问题，另一个是 NeurIPS 黑箱优化挑战。在 CASH 基准测试中，Optuna 表现优于其他工具；在多层感知机（MLP）架构调优中，HyperOpt 取得最佳结果，展现出在神经网络应用中更优的性能与效率。

ABSTRACT

Most of the machine learning models have associated hyper-parameters along with their parameters. While the algorithm gives the solution for parameters, its utility for model performance is highly dependent on the choice of hyperparameters. For a robust performance of a model, it is necessary to find out the right hyper-parameter combination. Hyper-parameter optimization (HPO) is a systematic process that helps in finding the right values for them. The conventional methods for this purpose are grid search and random search and both methods create issues in industrial-scale applications. Hence a set of strategies have been recently proposed based on Bayesian optimization and evolutionary algorithm principles that help in runtime issues in a production environment and robust performance. In this paper, we compare the performance of four python libraries, namely Optuna, Hyper-opt, Optunity, and sequential model-based algorithm configuration (SMAC) that has been proposed for hyper-parameter optimization. The performance of these tools is tested using two benchmarks. The first one is to solve a combined algorithm selection and hyper-parameter optimization (CASH) problem The second one is the NeurIPS black-box optimization challenge in which a multilayer perception (MLP) architecture has to be chosen from a set of related architecture constraints and hyper-parameters. The benchmarking is done with six real-world datasets. From the experiments, we found that Optuna has better performance for CASH problem and HyperOpt for MLP problem.

研究动机与目标

• 评估并比较四种主流 HPO 库（Optuna、HyperOpt、Optunity 和 SMAC）在真实机器学习问题上的性能。
• 评估不同 HPO 策略下优化性能（以模型准确率衡量）与运行效率之间的权衡。
• 在两个不同挑战上对这些工具进行基准测试：包含 12 种分类器和 58 个超参数的 CASH 问题，以及用于 MLP 架构搜索的 NeurIPS 黑箱优化挑战。
• 基于问题类型（特别是表格型机器学习与深度学习工作负载）提供实证性的工具选择指导。

提出的方法

• 研究采用贝叶斯优化（Optuna、HyperOpt、SMAC）和进化算法（Optunity）进行超参数搜索。
• 在 CASH 基准测试中，使用六个真实世界数据集对 12 种分类器在 58 个超参数上进行调优，以准确率和运行时间作为评估指标。
• NeurIPS 挑战基准测试涉及对包含 9 个超参数的多层感知机（MLP）进行优化，包括隐藏层大小、学习率、批量大小和正则化项。
• 搜索空间定义为混合类型：连续型（对数、logit）、整数型（线性）以及具有指定范围的实数值参数。
• 每种工具均以多种配置（如 TPE、随机搜索、PSO）运行，以比较不同优化策略的性能。
• 实验采用标准机器学习流水线进行，结果在数据集间聚合，以评估工具性能的泛化能力。

Figure 1: A demonstration of Bayesian optimization on a 1-dimensional maximization problem. The figures show a Gaussian process (GP) approximation of the objective function over four iterations of sampled values of the objective function. The figure also shows the acquisition function in the lower s

实验结果

研究问题

• RQ1 在 CASH 基准测试中，哪种 HPO 库在多样化的现实世界数据集上实现了最高的模型性能（准确率）？
• RQ2 在优化多种机器学习模型时，Optuna、HyperOpt、Optunity 和 SMAC 的运行时间特性如何比较？
• RQ3 HPO 工具的性能在表格型数据问题（CASH）与深度学习架构搜索（MLP 调优）之间是否存在显著差异？
• RQ4 各工具在迭代过程中的优化轨迹稳定性如何？这是否影响收敛速度或最终性能？
• RQ5 在特定问题设置下，进化或受自然启发的算法（如 Optunity 的 PSO）是否能优于基于贝叶斯优化的方法？

主要发现

• 在 CASH 基准测试中，Optuna 在所有数据集上的平均性能得分最高，在 nomao 数据集上达到最大 F1 分数 0.937144。
• 在 MLP 基准测试中，HyperOpt 运行时间最快，在 dna 数据集上仅用 72 秒完成搜索，优于 Optuna（415 秒）和 SMAC（388 秒）。
• 在 MLP 问题中，HyperOpt 的 TPE 配置在 dna 数据集上取得最高得分 0.950322，超过 Optuna（0.947453）和 SMAC（0.950322）。
• SMAC 在多个数据集上表现具有竞争力，但运行时间显著高于 Optuna 和 HyperOpt，在 nomao 数据集上耗时 12,316 秒。
• Optunity 的 PSO 配置在所有基准测试中表现最差，在 semeion 数据集上得分为 0.700295，表明其在这些任务中效果有限。
• Optuna 在迭代过程中表现出最稳定的优化轨迹，而 Optunity 和 HyperOpt 展现出振荡行为，表明收敛性不够一致。

Figure 2: Plot of f1-score v/s iteration for benchmark-I. The corresponding algorithm and dataset are marked as a legend in each plot.