[论文解读] Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly

Kirthevasan Kandasamy, Karun Raju Vysyaraju+6 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Multi-Objective Optimization Algorithms被引用 79

一句话总结

Dragonfly 是一个开源库，通过整合高维扩展、多保真、神经架构搜索、并行评估和鲁棒获取来推进可扩展且鲁棒的贝叶斯优化。

ABSTRACT

Bayesian Optimisation (BO) refers to a suite of techniques for global optimisation of expensive black box functions, which use introspective Bayesian models of the function to efficiently search for the optimum. While BO has been applied successfully in many applications, modern optimisation tasks usher in new challenges where conventional methods fail spectacularly. In this work, we present Dragonfly, an open source Python library for scalable and robust BO. Dragonfly incorporates multiple recently developed methods that allow BO to be applied in challenging real world settings; these include better methods for handling higher dimensional domains, methods for handling multi-fidelity evaluations when cheap approximations of an expensive function are available, methods for optimising over structured combinatorial spaces, such as the space of neural network architectures, and methods for handling parallel evaluations. Additionally, we develop new methodological improvements in BO for selecting the Bayesian model, selecting the acquisition function, and optimising over complex domains with different variable types and additional constraints. We compare Dragonfly to a suite of other packages and algorithms for global optimisation and demonstrate that when the above methods are integrated, they enable significant improvements in the performance of BO. The Dragonfly library is available at dragonfly.github.io.

研究动机与目标

• 解决昂贵黑-box 函数在超参数调优和模型选择中的高效全局优化挑战。
• 开发在高维空间、具多保真评估、并在结构化/组合域上工作的可扩展 BO 方法。
• 通过引入随机化获取策略和模型参数选择来提高 BO 的鲁棒性，降低对超参数和获取选择的敏感性。

提出的方法

• 将 Dragonfly 作为一个以可扩展性和鲁棒性为核心的开源 BO 库引入。
• 使用加性模型通过 Add-GP-UCB 将 BO 的尺度推向高维，使大特征空间中的优化变得可处理。
• 用多保真 BO（BOCA）形式化并利用覆盖 fidelity 与输入域的乘积核；通过优化一个结合保真感知探索的获取函数来选择下一个点。
• 将 BO 扩展到神经架构搜索，使用 NASBOT，利用 OTMANN 距离定义架构核并通过进化算法优化获取函数与架构。
• 通过幻觉技术处理获取以实现异步或批量 BO（除了 Thompson sampling，仍保持随机性）。
• 提出一个鲁棒 BO 框架，随机在多种获取与 GP 超参数之间进行选择，以在不同问题上提高鲁棒性。

实验结果

研究问题

• RQ1 如何在不产生高昂计算成本的情况下将贝叶斯优化扩展到高维域？
• RQ2 是否能够形式化地将多保真评估集成到具有理论保证的 BO 中以减少昂贵的评估？
• RQ3 BO 如何适应神经架构搜索，具有有意义的架构表示和高效的优化？
• RQ4 哪些策略可以在并行/异步设置下提高 BO 对获取选择和超参数设置的鲁棒性？

主要发现

• Dragonfly 在合成基准和真实任务（包括天体物理学和模型选择）中表现具有竞争力或优越性。
• 加性 GP 模型（Add-GP-UCB）通过将 f 分解为加性分量显著缓解维度灾难。
• BO 与多保真度（BOCA）使用乘积核并通过两步保真选择在信息增益与成本之间取得平衡。
• NASBOT 使用基于 OTMANN 的核和多保真训练的进化搜索策略实现神经架构搜索。
• 通过对获取进行幻觉处理（TS 除外），有效处理并行评估，使得异步或批量 BO 成为可能。
• 随机、自适应获取策略比依赖单一固定获取更鲁棒。