[论文解读] BOSH: Bayesian Optimization by Sampling Hierarchically

Henry B. Moss, David S. Leslie+1 more|arXiv (Cornell University)|Jul 2, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用 4

一句话总结

BOSH 提出了一种新颖的贝叶斯优化框架，通过分层高斯过程和信息论采集策略，动态扩展一组随机实现，从而在合成任务、仿真、强化学习和超参数调优中，相较于标准贝叶斯优化，实现了更高效、更精确的优化，通过自适应平衡对现有实现的评估与新实现的采样。

ABSTRACT

Deployments of Bayesian Optimization (BO) for functions with stochastic evaluations, such as parameter tuning via cross validation and simulation optimization, typically optimize an average of a fixed set of noisy realizations of the objective function. However, disregarding the true objective function in this manner finds a high-precision optimum of the wrong function. To solve this problem, we propose Bayesian Optimization by Sampling Hierarchically (BOSH), a novel BO routine pairing a hierarchical Gaussian process with an information-theoretic framework to generate a growing pool of realizations as the optimization progresses. We demonstrate that BOSH provides more efficient and higher-precision optimization than standard BO across synthetic benchmarks, simulation optimization, reinforcement learning and hyper-parameter tuning tasks.

研究动机与目标

• 为解决标准贝叶斯优化在随机设置下的局限性，即固定评估策略（如K折交叉验证）优化的是噪声实现的平均值，而非真实目标函数。
• 降低因实现集合次优或固定而导致收敛至错误函数的高精度最优解的风险。
• 开发一种在优化过程中自适应扩展实现池的方法，提升效率与精度，且无需预先定义实现数量。
• 在随机优化中实现批量采集与可扩展计算，克服现有多保真度与多任务贝叶斯优化框架的局限。
• 提供一种基于信息论的原理性框架，用于决定何时评估现有实现，何时采样新实现。

提出的方法

• BOSH 使用分层高斯过程（HGP）将真实目标函数建模为潜在函数，各实现作为该潜在函数的扰动。
• HGP 在核函数中使用共享长度尺度，以提升模型稳定性，并仅需 d+5 次评估即可实现可靠初始化。
• 基于信息论的采集函数量化评估新实现或现有实现的效用，平衡对新实现的探索与对现有实现的利用。
• 通过将采集函数扩展至跨实现推荐多个点，框架支持批量采集，实现并行评估。
• 该方法通过在优化过程中动态扩展实现池，避免了对固定评估策略的依赖。
• HGP 在来自多个实现的不断增长的评估集合上进行训练，不确定性通过层级结构传播，以指导决策。

实验结果

研究问题

• RQ1 贝叶斯优化框架能否在优化过程中动态扩展实现池，从而在精度上优于固定评估策略？
• RQ2 一种平衡新实现采样与现有实现评估的信息论采集函数，是否能带来更高效的优化？
• RQ3 在仿真、强化学习和超参数调优中，BOSH 是否能实现比标准贝叶斯优化及现有多保真度或多任务贝叶斯优化方法更高的精度优化？
• RQ4 在初始化成本与收敛速度方面，BOSH 的自适应策略与固定-K 方法相比如何？
• RQ5 BOSH 在保持高精度优化的同时，能在多大程度上推荐有效的评估批次？

主要发现

• 在所有基准任务中，包括合成任务、仿真、强化学习和超参数调优，BOSH 的优化精度均高于标准贝叶斯优化。
• 在 Lunar Lander 任务中，BOSH 仅使用 10 次并行评估，即达到硬编码 PID 控制器的性能，优于标准贝叶斯优化与批量贝叶斯优化。
• 在 IMDB 电影评论分类任务中，BOSH 使用最多四组训练-测试划分，实现了比标准贝叶斯优化使用 K 折交叉验证更精确的 SVM 超参数调优。
• 在仓库分配仿真任务中，BOSH 实现了高精度优化，而标准贝叶斯优化即使在并行评估下也仅能提供粗略优化。
• 与 FASTCV 相比，BOSH 所需的初始化成本显著更低，FASTCV 需要每实现 d+3 次评估，而 BOSH 仅需在两个实现上总共 d+5 次评估即可可靠初始化。
• 在固定评估策略下，BOSH 的自适应策略在并行资源可用时，实现了比批量贝叶斯优化更快、更精确的调优。