[论文解读] Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020

Ryan Turner, David Eriksson+5 more|arXiv (Cornell University)|Apr 20, 2021

Machine Learning and Data Classification参考文献 56被引用 163

一句话总结

论文报告说，带有代理模型和集成的贝叶斯优化在 NeurIPS 2020 黑箱优化挑战中的机器学习超参数调优任务上显著优于随机搜索，在未见问题上也保持了强劲提升。

ABSTRACT

This paper presents the results and insights from the black-box optimization (BBO) challenge at NeurIPS 2020 which ran from July-October, 2020. The challenge emphasized the importance of evaluating derivative-free optimizers for tuning the hyperparameters of machine learning models. This was the first black-box optimization challenge with a machine learning emphasis. It was based on tuning (validation set) performance of standard machine learning models on real datasets. This competition has widespread impact as black-box optimization (e.g., Bayesian optimization) is relevant for hyperparameter tuning in almost every machine learning project as well as many applications outside of machine learning. The final leaderboard was determined using the optimization performance on held-out (hidden) objective functions, where the optimizers ran without human intervention. Baselines were set using the default settings of several open-source black-box optimization packages as well as random search.

研究动机与目标

• 为在真实数据集上调优机器学习模型超参数，动机并评估无导数（黑箱）优化器。
• 提供在隐藏（留出）目标下比较优化器的公平基准方案。
• 评估基线方法以及代理模型和集成策略的收益。
• 就求解器选择、开源工具及机器学习超参数优化中的挑战提供实际见解。

提出的方法

• 将黑箱优化框架化为在有代价评估的有界域内最小化 f(x)。
• 使用 Bayesmark 对不同问题进行归一化并对优化器性能进行评分。
• 提供带有默认基线（包括随机搜索）和开源贝叶斯优化工具的入门套件。
• 进行每个问题 16 次迭代、每次 8 点的批处理评估预算，以体现墙钟时间约束。
• 鼓励开环的 suggest-observe 优化器，能够并行提出多个点。
• 用自助法和随机问题划分分析结果，以评估排序的可靠性。

实验结果

研究问题

• RQ1 贝叶斯优化在真实且多样化的问题上是否始终优于随机搜索，用于机器学习超参数调优？
• RQ2 在实际预算下，默认的 BO 包与随机搜索及彼此之间的比较如何？
• RQ3 在异质的机器学习调优任务中，基于集成的 BO 方法是否能提高性能？
• RQ4 开源工具和暖启动/元学习在实现竞争性结果中起到什么作用？
• RQ5 结果对取样变异性和问题异质性有多鲁棒？

主要发现

• 大多数前20名参与者使用了代理辅助优化，且相对于随机搜索取得了显著提升。
• 最终排行榜中有 65 支队伍中有 61 支超越随机搜索基线；前5名在自举分析下统计上具鲁棒性。
• 集成（将多种代理、获取函数或甚至优化器家族结合）带来了显著的相对改进。
• 信任域（TuRBO）和随机-RBF（pySOT）方法是最强的基线之一；把它们与其他方法混合的集成往往表现最好。
• 开源工具和利用暖启动/元学习策略对实际性能提升有帮助；一些顶尖队伍整合了成熟的 BO 组件，而非定制解决方案。