[论文解读] BayesOpt: A Bayesian Optimization Library for Nonlinear Optimization, Experimental Design and Bandits

Rubén Martínez-Cantín|Zaguan (University of Zaragoza Repository)|May 29, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 16被引用 253

一句话总结

BayesOpt 是一个用 C++ 实现的高性能、跨平台贝叶斯优化库，提供 C、C++、Python 和 MATLAB/Octave 接口。它通过利用高斯过程代理模型、自适应获取函数、核学习以及基于增量 Cholesky 更新和预计算项的计算优化，实现高效的非线性优化、实验设计和随机多臂赌博机问题，达到最先进的样本效率和速度。

ABSTRACT

BayesOpt is a library with state-of-the-art Bayesian optimization methods to solve nonlinear optimization, stochastic bandits or sequential experimental design problems. Bayesian optimization is sample efficient by building a posterior distribution to capture the evidence and prior knowledge for the target function. Built in standard C++, the library is extremely efficient while being portable and flexible. It includes a common interface for C, C++, Python, Matlab and Octave.

研究动机与目标

• 开发一个高性能、可移植且可扩展的贝叶斯优化库，用于求解昂贵、非线性和多峰优化问题。
• 通过增量矩阵更新和预计算优化核学习和获取函数最大化的计算效率。
• 提供一个灵活且可扩展的框架，支持连续、离散和分类优化，包括高维空间和约束问题。
• 通过统一的面向对象 API 和对非高斯过程、元标准等高级模型的支持，实现在 C、C++、Python 和 MATLAB/Octave 之间的无缝集成。
• 通过线程安全、异常处理以及对 GP-Hedge 等复杂算法的稳定实现，确保数值鲁棒性和正确性。

提出的方法

• 该库使用半参数代理模型：$ f(\mathbf{x}) = \phi(\mathbf{x})^T\mathbf{w} + \epsilon(\mathbf{x}) $，其中 $ \epsilon(\mathbf{x}) $ 是非参数过程（例如高斯、学生 t 分布或高斯混合）。
• 支持经验贝叶斯（最大似然/最大后验）和 MCMC 用于后验推断，对权重 $ \mathbf{w} $、噪声方差 $ \sigma_s^2 $ 和核超参数 $ \theta $ 设置先验分布。
• 核超参数 $ \theta $ 使用无导数方法（如 DIRECT 和 BOBYQA）进行优化，这些方法在 CPU 时间上优于基于梯度的方法，并避免了导数计算的开销。
• 核矩阵 $ \mathbf{K}(\theta) $ 的 Cholesky 分解通过增量方式计算，利用秩一更新将每个新点的计算成本从 $ \mathcal{O}(n^3) $ 降低至 $ \mathcal{O}(n^2) $。
• 通过预计算与查询点 $ \mathbf{x} $ 无关的项，加速获取函数评估，实现高效的序列优化。
• 工厂设计模式支持在运行时组合核函数、准则和模型，支持复杂组合如 $ \text{cHedge}(\text{cEI}, \text{cLCB}, \text{cThompsonSampling}) $。

实验结果

研究问题

• RQ1 如何使贝叶斯优化在昂贵、非线性和多峰函数上更具计算效率？
• RQ2 增量 Cholesky 更新和预计算在实际贝叶斯优化性能中的影响是什么？
• RQ3 一个具有跨语言支持的统一库能否在性能上与专用开源替代方案相媲美？
• RQ4 与基于梯度的方法相比，无导数优化方法在学习核超参数方面的有效性如何？
• RQ5 灵活且可组合的组件（核函数、准则、超先验）在多大程度上能提升贝叶斯优化对不同类型问题的适应能力？

主要发现

• BayesOpt 在样本效率和速度上优于 SMAC、HyperOpt、Spearmint 和 DiceOptim，在仅 100 次迭代下，于 Camelback 函数上达到 0.00000 的差距。
• 在 200 次迭代下，BayesOpt1 在 Camelback 函数上达到 0.00000 的差距，在 Branin 函数上达到 0.04742 的差距，显著优于 Spearmint 和 HyperOpt 的精度。
• BayesOpt2 在 100 秒运行时间内于 Camelback 函数上达到 0.00000 的差距，而 HyperOpt 仅需 8 秒但差距高达 0.03383。
• 采用增量 Cholesky 更新将每次迭代的计算成本从 $ \mathcal{O}(n^3) $ 降低至 $ \mathcal{O}(n^2) $，显著提升了可扩展性。
• 预计算与查询点无关的项减少了获取函数最大化过程中的冗余计算，提升了整体效率。
• 该库在极少配置下即实现高性能，在仅 2 个初始设计点的情况下即达到具有竞争力的结果，而其他工具通常需要 5–10 个点。