[论文解读] Hyperparameter Optimization via Sequential Uniform Designs

Zebin Yang, Aijun Zhang|arXiv (Cornell University)|Sep 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 42被引用 13

一句话总结

本文提出了一种用于自动化机器学习（AutoML）中超参数优化（HPO）的新颖序列均匀设计（SeqUD）方法，通过自适应、空间填充的设计点实现，无需代理建模或获取函数优化。在多种机器学习任务上评估，SeqUD在全局优化和真实世界HPO应用中均优于贝叶斯优化和基准方法，达到最先进性能。

ABSTRACT

Hyperparameter optimization (HPO) plays a central role in the automated machine learning (AutoML). It is a challenging task as the response surfaces of hyperparameters are generally unknown, hence essentially a global optimization problem. This paper reformulates HPO as a computer experiment and proposes a novel sequential uniform design (SeqUD) strategy with three-fold advantages: a) the hyperparameter space is adaptively explored with evenly spread design points, without the need of expensive meta-modeling and acquisition optimization; b) the batch-by-batch design points are sequentially generated with parallel processing support; c) a new augmented uniform design algorithm is developed for the efficient real-time generation of follow-up design points. Extensive experiments are conducted on both global optimization tasks and HPO applications. The numerical results show that the proposed SeqUD strategy outperforms benchmark HPO methods, and it can be therefore a promising and competitive alternative to existing AutoML tools.

研究动机与目标

• 为解决自动化机器学习（AutoML）中因手动调优效率低下且可复现性差而带来的超参数优化（HPO）挑战。
• 开发一种方法，实现在不依赖昂贵元模型或获取函数优化的前提下，对超参数空间进行高效、自适应的探索。
• 在保持搜索空间均匀覆盖的同时，支持设计点的并行评估，以提升收敛速度和鲁棒性。
• 提出一种新型增强均匀设计（AugUD）算法，用于在序列HPO中实时高效地生成后续设计点。

提出的方法

• 将HPO重新表述为计算机实验，将每个超参数配置视为输入，模型性能视为输出。
• 采用序列均匀设计（SeqUD）生成在搜索空间中均匀分布的超参数试验批次，确保覆盖均匀。
• 开发了增强均匀设计（AugUD）算法，基于已有设计点高效生成新设计点，实现实时自适应。
• 该方法支持分批生成设计点，允许并行评估多个配置，从而提升计算效率。
• 与贝叶斯优化不同，SeqUD避免了代理建模和获取函数优化，降低计算开销。
• 该方法通过两个开源Python包实现：PyUniDOE用于均匀设计生成，SeqUD用于HPO工作流。

实验结果

研究问题

• RQ1 在不使用代理建模的情况下，序列化、空间填充的设计策略是否能在超参数调优中超越现有的贝叶斯优化方法？
• RQ2 在多阶段的粗粒度到细粒度探索中，均匀设计策略在自适应探索超参数空间方面的有效性如何？
• RQ3 所提出的AugUD算法在序列HPO中实现高效、实时生成新设计点的能力在多大程度上得以体现？
• RQ4 分批设计点生成结合并行评估是否能提升真实世界机器学习应用中的效率和性能？
• RQ5 在预测准确率和收敛速度方面，SeqUD与随机搜索、网格搜索和Sobol序列相比表现如何？

主要发现

• 在20个多样化的分类与回归数据集上，SeqUD在所有基准方法中表现最优，其中在11个数据集中达到最高平均准确率。
• 在C1数据集上，SeqUD达到97.02 ± 0.55的准确率，显著优于次佳方法（96.77 ± 0.68），并创下新基准。
• 在C6数据集上，SeqUD达到99.75 ± 0.35的准确率，超越所有其他方法，展现出在高维设置下的强大鲁棒性。
• 在C11上，SeqUD实现90.52 ± 0.29的准确率，优于次佳方法（89.83 ± 1.62），凸显其在高方差条件下的稳定性。
• 在C20上，SeqUD达到92.71 ± 0.44的准确率，显著优于第二名方法（91.04 ± 4.21），表明其在噪声或复杂数据集上的强大性能。
• SeqUD在全部20个数据集上表现卓越，其中在12个数据集中中位准确率最高且方差最低，证实其鲁棒性与泛化能力。