[论文解读] Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale

Yang Li, Yu Shen+6 more|arXiv (Cornell University)|Jan 18, 2022

Advanced Neural Network Applications被引用 6

一句话总结

Hyper-Tune 是一个可扩展的分布式超参数调优框架，通过自动资源分配、异步调度和多保真度优化器加速超参数优化。在包括 XGBoost、CNN、RNN 和神经架构搜索在内的多种机器学习工作负载上，其相对于 BOHB 和 A-BOHB 的加速比分别达到最高 11.2× 和 5.1×。

ABSTRACT

The ever-growing demand and complexity of machine learning are putting pressure on hyper-parameter tuning systems: while the evaluation cost of models continues to increase, the scalability of state-of-the-arts starts to become a crucial bottleneck. In this paper, inspired by our experience when deploying hyper-parameter tuning in a real-world application in production and the limitations of existing systems, we propose Hyper-Tune, an efficient and robust distributed hyper-parameter tuning framework. Compared with existing systems, Hyper-Tune highlights multiple system optimizations, including (1) automatic resource allocation, (2) asynchronous scheduling, and (3) multi-fidelity optimizer. We conduct extensive evaluations on benchmark datasets and a large-scale real-world dataset in production. Empirically, with the aid of these optimizations, Hyper-Tune outperforms competitive hyper-parameter tuning systems on a wide range of scenarios, including XGBoost, CNN, RNN, and some architectural hyper-parameters for neural networks. Compared with the state-of-the-art BOHB and A-BOHB, Hyper-Tune achieves up to 11.2x and 5.1x speedups, respectively.

研究动机与目标

• 为应对模型和数据复杂性增加带来的超参数调优可扩展性瓶颈，尤其是在工业级应用场景中。
• 通过优化资源使用和调度，降低深度学习和大规模机器学习模型的高评估成本。
• 通过智能配置选择和资源分配，提升超参数搜索的样本效率和收敛速度。
• 实现在多种模型（包括 XGBoost、CNN、RNN 和神经架构超参数）上的鲁棒且高效的调优。
• 设计一个在并行工作节点数量增加时仍能有效扩展的系统，同时保持高性能。

提出的方法

• 引入自动资源分配机制，根据早期性能信号动态分配训练资源，减少对低质量配置的资源浪费。
• 采用异步调度（D-ASHA），使工作节点可独立运行，降低空闲时间，提升系统利用率。
• 应用多保真度优化器，利用低保真度评估（如部分训练）指导配置选择，提升搜索效率。
• 引入括号选择机制，在多个资源层级上优先选择有希望的配置，加快收敛速度。
• 采用延迟策略（D-ASHA），防止 ASHA 中频繁晋升，提升异步环境下的样本效率。
• 将上述组件整合为统一的分布式框架，支持最多 256 个工作节点，并可应用于真实工业工作负载。

实验结果

研究问题

• RQ1 在模型和数据复杂性持续增加的背景下，如何使超参数调优系统更加高效和可扩展？
• RQ2 异步调度和动态资源分配对调优性能和系统利用率的影响如何？
• RQ3 与高保真度或随机搜索方法相比，多保真度优化能否显著提升样本效率？
• RQ4 括号选择如何提升分布式超参数调优中的收敛速度和鲁棒性？
• RQ5 在真实工业应用场景中，所提出的系统在并行工作节点数量不断增加时，其可扩展性达到何种程度？

主要发现

• 在基准测试和真实调优任务中，Hyper-Tune 相较于 BOHB 最高实现 11.2× 的加速，相较于 A-BOHB 实现 5.1× 的加速。
• 在 256 个工作节点下，Hyper-Tune 在 counting-ones 和 Covertype 任务上分别实现 145.7× 和 18.0× 的加速，相较于串行执行。
• 消融实验表明，括号选择贡献了最大的性能提升，相较于 A-BOHB 将 AUC 提升 0.54%。
• D-ASHA 通过减少频繁晋升提升了样本效率，在 Covertype 数据集上使验证误差降低 0.5%。
• 多保真度优化器通过有效利用低保真度测量结果指导搜索，优于随机搜索和高保真度优化器。
• 在一个包含超过十亿样本的工业推荐任务中，Hyper-Tune 相较于人工调优设置将 AUC 提升 0.87%，优于 A-BOHB 的 0.54%。