[论文解读] GPflowOpt: A Bayesian Optimization Library using TensorFlow

Nicolas Knudde, Joachim van der Herten+2 more|arXiv (Cornell University)|Nov 10, 2017

Advanced Bandit Algorithms Research参考文献 10被引用 56

一句话总结

GPflowOpt 是一个基于 GPflow/TensorFlow 的 Python 贝叶斯优化框架，便于扩展自定义模型和获取函数，支持单目标和多目标优化（含约束），并利用自动微分、GPU 与并行化。

ABSTRACT

A novel Python framework for Bayesian optimization known as GPflowOpt is introduced. The package is based on the popular GPflow library for Gaussian processes, leveraging the benefits of TensorFlow including automatic differentiation, parallelization and GPU computations for Bayesian optimization. Design goals focus on a framework that is easy to extend with custom acquisition functions and models. The framework is thoroughly tested and well documented, and provides scalability. The current released version of GPflowOpt includes some standard single-objective acquisition functions, the state-of-the-art max-value entropy search, as well as a Bayesian multi-objective approach. Finally, it permits easy use of custom modeling strategies implemented in GPflow.

研究动机与目标

• 构建一个基于 GPflow 的可扩展贝叶斯优化框架，简化添加新模型和获取函数。
• 利用 TensorFlow 的特性（自动微分、并行化、GPU）来扩展/提升贝叶斯优化的规模。
• 通过获取函数为单目标和多目标优化及约束提供支持。
• 确保严格的测试和文档，以促进在不同领域的采用与重复使用。

提出的方法

• 使用 GPflow 作为代理建模后端，以便轻松开发基于 GP 的模型。
• 实现将 GP 预测映射到标量分数的获取函数（EI、PoI、LCB、MES、PoF、HvPoI）。
• 提供带有 Domain、Acquisition 与 Optimizer 组件的模块化设计，以组织 BO 工作流。
• 结合自动数据缩放和模型超参数优化，超参数可选使用哈密顿 Monte Carlo。
• 通过 HvPoI 及相关获取策略实现多目标优化，并考虑帕累托前沿。
• 通过 TensorFlow 提供 GPU 支持和自动微分以加速计算。

实验结果

研究问题

• RQ1 GPflowOpt 如何在贝叶斯优化中提供一个易于扩展的自定义 GP 模型和获取函数的接口？
• RQ2 GPflowOpt 在单目标和多目标优化（包含通过 PoF 的约束）方面的支持有多高效？
• RQ3 与现有的 BO 框架在语言、自动微分等特性、多目标支持、代码质量与硬件支持方面，GPflowOpt 相比如何？
• RQ4 GPflowOpt 能否利用 TensorFlow（GPU/自动微分）来提升贝叶斯优化的扩展性和性能？

主要发现

• GPflowOpt 使在贝叶斯优化中直接应用不同的基于 GPflow 的代理模型成为可能。
• 它包括自动微分、GPU 支持，以及一个干净、可扩展的面向对象 Python 前端。
• 该框架实现了用于单目标和多目标优化的多种获取函数，以及用于约束的 PoF。
• GPflowOpt 提供严格的测试，代码覆盖率达 99%，并附有详尽的文档。
• 与其他框架相比，GPflowOpt 提供自动微分、多目标支持和 GPU 使用，尽管批量 BO 和某些后端最初并不具备。
• 一个简单的多目标示例展示了 HvPoI 与 PoF 在实际风力旋风分离器中的整合。