[论文解读] Model-based Asynchronous Hyperparameter and Neural Architecture Search

Aaron Klein, Louis C. Tiao+3 more|arXiv (Cornell University)|Mar 24, 2020

Machine Learning and Data Classification参考文献 33被引用 22

一句话总结

该论文提出 A-BOHB，一种基于模型的异步超参数与神经架构搜索方法，结合高斯过程贝叶斯优化与异步多保真度调度。通过联合建模超参数与资源水平并幻想尚未完成的评估，A-BOHB 在收敛速度与遗憾性能方面优于同步与随机异步基线方法，尤其在昂贵的深度学习基准上表现更优。

ABSTRACT

We introduce a model-based asynchronous multi-fidelity method for hyperparameter and neural architecture search that combines the strengths of asynchronous Hyperband and Gaussian process-based Bayesian optimization. At the heart of our method is a probabilistic model that can simultaneously reason across hyperparameters and resource levels, and supports decision-making in the presence of pending evaluations. We demonstrate the effectiveness of our method on a wide range of challenging benchmarks, for tabular data, image classification and language modelling, and report substantial speed-ups over current state-of-the-art methods. Our new methods, along with asynchronous baselines, are implemented in a distributed framework which will be open sourced along with this publication.

研究动机与目标

• 解决分布式环境下因同步瓶颈导致的同步超参数与神经架构搜索（HNAS）效率低下问题。
• 克服异步 Hyperband 变体中随机采样方法的局限性，后者通常难以达到最先进性能。
• 开发一种系统化、基于模型的方法，支持在多个资源层级与待处理评估中实现异步决策。
• 通过在超参数与资源水平上联合进行概率建模，提升 HNAS 的样本效率与实际运行时间表现。
• 为缺乏贝叶斯优化或分布式系统专业知识的实践者提供实用、可扩展且高效的自动化机器学习方法。

提出的方法

• 引入一种联合高斯过程（GP）代理模型，联合建模超参数与资源水平（如训练轮次）下的验证损失。
• 利用概率推理预测更高资源水平下的性能表现，同时考虑已完成与待处理的评估。
• 应用“幻想”采样技术模拟待处理配置的潜在结果，实现在无需等待所有工作者完成的情况下进行异步决策。
• 将该模型集成至异步 Hyperband（HB）调度框架中，以模型驱动的获取策略替代随机配置采样。
• 采用基于期望改进（EI）或改进概率（PI）的获取函数，选择下一个待评估的配置。
• 通过早期低保真度评估结果，基于多保真度优化机制将有前景的配置提升至更高资源水平。

实验结果

研究问题

• RQ1 与随机或同步基线相比，基于模型的方法是否能提升异步超参数与神经架构搜索的样本效率与实际运行时间表现？
• RQ2 在存在待处理评估的异步环境中，联合建模超参数与资源水平如何影响决策过程？
• RQ3 在异步 HB 变体中，使用基于幻想推理的高斯过程代理模型是否优于随机配置采样？
• RQ4 与最先进方法（如同步 BOHB 与 ASHA）相比，A-BOHB 在昂贵的深度学习基准上能将遗憾降低多少？
• RQ5 在计算资源有限的情况下，A-BOHB 的性能如何随并行工作者数量的变化而变化，尤其在不同规模的计算预算下？

主要发现

• 在 CIFAR-10 上的 ResNet 实验中，A-BOHB 在与 A-HB 使用双倍工作者数量相当的实际运行时间内，实现了 $10^{-2}$ 的验证误差遗憾（准确率差异约 1%）。
• 在 LSTM 语言建模（WikiText-2）任务中，A-BOHB 超越了同步 BOHB 与 ASHA，更快达到具有竞争力的性能，且计算开销更低。
• A-BOHB 在实现同等结果时仅需一半计算资源，即可达到或超越基于随机采样的异步 HB 变体（如 ASHA）的性能。
• 该方法显著降低了同步开销，使更多配置能在相同实际运行时间内被提升至更高资源水平。
• 在表格数据与图像分类基准上，A-BOHB 相较于最先进同步与异步 HNAS 方法，展现出一致的加速效果与更低的遗憾。
• 联合 GP 模型实现了资源水平间的有效插值，并在存在待处理评估的不完整数据情况下，仍能支持稳健的决策。