[论文解读] DEHB: Evolutionary Hyperband for Scalable, Robust and Efficient Hyperparameter Optimization

Noor H. Awad, Neeratyoy Mallik+1 more|arXiv (Cornell University)|May 20, 2021

Advanced Multi-Objective Optimization Algorithms被引用 9

一句话总结

DEHB 提出了一种新颖的超参数优化（HPO）方法，将差分进化（DE）与 Hyperband 的基于赌博机的资源分配相结合，实现了可扩展、稳健且高效的 HPO。在高维离散问题上，其速度相比先前方法（包括 BOHB 和随机搜索）最高可提升 1000 倍，同时保持简单性与低计算开销。

ABSTRACT

Modern machine learning algorithms crucially rely on several design decisions to achieve strong performance, making the problem of Hyperparameter Optimization (HPO) more important than ever. Here, we combine the advantages of the popular bandit-based HPO method Hyperband (HB) and the evolutionary search approach of Differential Evolution (DE) to yield a new HPO method which we call DEHB. Comprehensive results on a very broad range of HPO problems, as well as a wide range of tabular benchmarks from neural architecture search, demonstrate that DEHB achieves strong performance far more robustly than all previous HPO methods we are aware of, especially for high-dimensional problems with discrete input dimensions. For example, DEHB is up to 1000x faster than random search. It is also efficient in computational time, conceptually simple and easy to implement, positioning it well to become a new default HPO method.

研究动机与目标

• 为解决现有 HPO 方法在高维和离散超参数空间中的局限性，特别是在神经架构搜索（NAS）中的问题。
• 开发一种方法，在多种 HPO 问题中均保持强大的即时性能和最终性能。
• 结合 Hyperband 的高效资源分配优势与 DE 在离散和高维搜索空间中的鲁棒性。
• 创建一种简单、高效且可并行化的 HPO 方法，避免贝叶斯优化带来的计算开销。

提出的方法

• DEHB 在 Hyperband（HB）的赌博机框架内集成差分进化（DE）作为搜索策略，利用 HB 的多臂赌博机资源分配机制，集中于有前景的配置。
• 在每个配置中，DE 使用固定参数（F=0.5，CR=0.5）对超参数向量种群执行变异、交叉和选择操作，以确保鲁棒性。
• 通过 HB 的连续减半机制实现早期停止，根据性能逐步减少对配置的资源分配，从而高效剔除表现较差的配置。
• DEHB 在多保真度设置下运行，以多个资源级别（如训练轮次）评估配置，并利用早期停止避免浪费计算。
• 该算法维护一个候选解种群，并通过迭代方式更新，新候选解通过 DE 操作生成，并在逐步增加的资源级别上进行评估。
• 其设计仅包含极少的超参数（仅 F 和 CR，均设为 0.5），确保在多种基准测试中易于使用且具有鲁棒性。

实验结果

研究问题

• RQ1 将 DE 与 Hyperband 结合，是否能比现有方法更稳健、更高效地解决高维离散 HPO 问题？
• RQ2 在多种 HPO 基准测试中，DEHB 与 BOHB 和随机搜索相比，在最终性能和样本效率方面表现如何？
• RQ3 DEHB 是否在包括代理基准、贝叶斯神经网络、强化学习和神经架构搜索在内的多种问题类型中均保持强大性能？
• RQ4 DEHB 对超参数设置的敏感性如何？单一配置是否能在多种问题中实现优异性能？

主要发现

• 在 HPO 问题上，DEHB 的收敛速度相比随机搜索最高可提升 1000 倍，且在测试函数上速度提升可达 33,440 倍。
• 在 13 个表格型神经架构搜索基准上，DEHB 的样本效率相比 BOHB 最高提升 32 倍。
• 在所有基准测试中，DEHB 的平均排名达到最优（2.39），显著优于其他所有方法的最终性能。
• 消融研究证实，将 F=0.5 和 CR=0.5 设为固定值，可在多种基准测试中实现鲁棒性能，最大限度降低对超参数选择的敏感性。
• 在 BOHB 遭遇困难的高维离散问题中，DEHB 仍保持优异性能，展现出在该类设置下的卓越鲁棒性。
• 该方法计算高效，相比基于模型的贝叶斯优化，开销极低，且可良好支持并行执行。