[论文解读] A Tutorial on Bayesian Optimization

Peter I. Frazier|arXiv (Cornell University)|Jul 8, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 78被引用 372

一句话总结

本教程解释贝叶斯优化（BayesOpt）在昂贵、黑箱、无导数的全局优化中使用高斯过程回归和获取函数。涵盖标准和奇异扩展，包括并行评估和多保真设置。

ABSTRACT

Bayesian optimization is an approach to optimizing objective functions that take a long time (minutes or hours) to evaluate. It is best-suited for optimization over continuous domains of less than 20 dimensions, and tolerates stochastic noise in function evaluations. It builds a surrogate for the objective and quantifies the uncertainty in that surrogate using a Bayesian machine learning technique, Gaussian process regression, and then uses an acquisition function defined from this surrogate to decide where to sample. In this tutorial, we describe how Bayesian optimization works, including Gaussian process regression and three common acquisition functions: expected improvement, entropy search, and knowledge gradient. We then discuss more advanced techniques, including running multiple function evaluations in parallel, multi-fidelity and multi-information source optimization, expensive-to-evaluate constraints, random environmental conditions, multi-task Bayesian optimization, and the inclusion of derivative information. We conclude with a discussion of Bayesian optimization software and future research directions in the field. Within our tutorial material we provide a generalization of expected improvement to noisy evaluations, beyond the noise-free setting where it is more commonly applied. This generalization is justified by a formal decision-theoretic argument, standing in contrast to previous ad hoc modifications.

研究动机与目标

• 介绍贝叶斯优化作为优化昂贵、无导数的黑箱函数的框架。
• 详细讲解高斯过程回归作为代理模型以及如何用新观测更新后验。
• 给出获取函数（期望改进、知识梯度、基于熵的方法）以及它们如何引导采样。
• 讨论奇异扩展（并行评估、多保真、约束、多任务、导数信息）以及实际软件考虑。

提出的方法

• 用高斯过程对目标函数建模，以获得后验均值和方差。
• 从GP后验定义获取函数以选择下一个评估点（如EI、KG）。
• 推导并实现EI，其闭式表达式涉及后验均值和方差（式(8)）。
• 描述替代获取函数：知识梯度、熵搜索、预测熵搜索。
• 将贝叶斯优化扩展到有噪声评估、并行评估、约束、多保真及其他奇异情形。
• 提供核函数与先验超参数选择的指南，包括最大似然估计、最大后验估计，以及完全贝叶斯方法。

实验结果

研究问题

• RQ1 贝叶斯优化如何高效地使用概率代理来优化昂贵的黑箱函数？
• RQ2 在标准与奇异贝叶斯优化设置中，哪些获取函数在探索与开发之间取得最佳平衡？
• RQ3 贝叶斯优化如何扩展以处理噪声、并行性和多信息源？
• RQ4 GP超参数和计算策略的实际考虑因素？
• RQ5 不同获取策略在有限评估下实现全局优化方面的比较？

主要发现

• EI 提供了一个可处理且有效的获取框架，其闭式表达式。
• KG 提供一种决策理论替代方案，考虑未来观测信息潜在价值。
• 诸如熵搜索和预测熵搜索等替代获取函数可应对奇异情形与约束。
• 对并行评估、多保真以及导数信息的扩展，扩大了贝叶斯优化在现实问题中的适用性。
• 提出并证明了EI对有噪声评估的泛化，依据正式的决策理论论证。