[论文解读] Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning

Valerio Perrone, Huibin Shen+3 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Multi-Objective Optimization Algorithms被引用 36

一句话总结

本文基于历史相关问题自动设计贝叶斯优化搜索空间，以实现迁移学习，采用盒状几何和椭球几何来收缩搜索区域并加速优化。

ABSTRACT

Bayesian optimization (BO) is a successful methodology to optimize black-box functions that are expensive to evaluate. While traditional methods optimize each black-box function in isolation, there has been recent interest in speeding up BO by transferring knowledge across multiple related black-box functions. In this work, we introduce a method to automatically design the BO search space by relying on evaluations of previous black-box functions. We depart from the common practice of defining a set of arbitrary search ranges a priori by considering search space geometries that are learned from historical data. This simple, yet effective strategy can be used to endow many existing BO methods with transfer learning properties. Despite its simplicity, we show that our approach considerably boosts BO by reducing the size of the search space, thus accelerating the optimization of a variety of black-box optimization problems. In particular, the proposed approach combined with random search results in a parameter-free, easy-to-implement, robust hyperparameter optimization strategy. We hope it will constitute a natural baseline for further research attempting to warm-start BO.

研究动机与目标

• 激发并解决在相关超参数优化（HPO）任务之间转移知识以实现贝叶斯优化（BO）的挑战。
• 提出一种数据驱动的方法，从以往评估中学习紧凑的搜索空间，以提高 BO 的效率。
• 证明学习搜索空间能够为各种 BO 算法和表示形式实现迁移学习。
• 探索超越传统矩形搜索空间的几何表示（盒状和椭球）。

提出的方法

• 将简化搜索空间定义为相关任务的历史最佳配置的函数。
• 通过带约束的优化来学习搜索空间，使其包含过去的极小值同时最小化体积（盒子：l 和 u；椭球：A 和 b）。
• 对于盒子，求解对 l,u 的极小化 1/2 ||u-l||^2，满足 all t: l ≤ x_t^* ≤ u；解析解 l*=min_t x_t^*，u*=max_t x_t^*。
• 对于椭球，求解 Löwner–John 问题 min log det(A^{-1}) 使得 ||A x_t^* + b||_2 ≤ 1 对所有 t；解唯一，使用 Interior-point 方法（CVXPY）得到。
• 通过拒绝采样调整椭球的抽样，以确保从 X ∩ ĤX(θ_e^*) 均匀抽取。
• 在（4）和（6）中加入松弛变量以自动选择更紧的空间，通过惩罚体积增长并保持一定比例的内点来实现。

实验结果

研究问题

• RQ1 可以通过数据驱动的离线设计来加速在相关任务之间的超参数优化吗？
• RQ2 盒状和椭球几何是否提供鲁棒、可扩展、无参数的迁移学习基线，与传统的元学习方法相比？
• RQ3 收紧搜索空间如何在不同的 BO 后端（Random, Hyperband, GP-based BO, SMAC, ABLR）上影响性能？
• RQ4 松弛变量的表述能否有效排除离群点，从而产生更紧凑、效果更好的搜索空间？
• RQ5 所提方法是否可以作为各种机器学习场景中用于对 BO 的暖启动的通用基线？

主要发现

• 学习到的搜索空间（盒状或椭球）在多个 HPO 基准测试中显著加速了 BO。
• 盒子和椭球方法在与各种 BO 方法结合时改善收敛，包括随机搜索、SMAC 和基于 GP 的 BO。
• 松弛变量扩展有助于排除离群值并产生更紧凑的空间，在多样的相关任务存在时提升鲁棒性。
• Box Random 与 Box Ellipsoid 结合迁移在低数据情形下可与 GP 暖启动及其他迁移基线竞争甚至优于之。
• 该方法提供一个简单、无参数、无模型的迁移学习基线，可以作为对 BO 的暖启动的稳健默认。