[论文解读] Limbo: A Fast and Flexible Library for Bayesian Optimization

Antoine Cully, Konstantinos Chatzilygeroudis+2 more|arXiv (Cornell University)|Nov 22, 2016

Gaussian Processes and Bayesian Inference参考文献 9被引用 15

一句话总结

Limbo 是一个开源的 C++11 库，用于贝叶斯优化，通过基于模板的策略驱动设计，在高性能与极高灵活性之间取得平衡。基准测试显示，其速度比 BayesOpt 快 1.47–2.54 倍，同时保持相当的精度，因此非常适合机器人学习和嵌入式系统等实时应用。

ABSTRACT

Limbo is an open-source C++11 library for Bayesian optimization which is designed to be both highly flexible and very fast. It can be used to optimize functions for which the gradient is unknown, evaluations are expensive, and runtime cost matters (e.g., on embedded systems or robots). Benchmarks on standard functions show that Limbo is about 2 times faster than BayesOpt (another C++ library) for a similar accuracy.

研究动机与目标

• 为解决研究与部署中缺乏兼具高性能与高度可配置性的开源贝叶斯优化库的问题。
• 通过允许轻松替换核函数、采集函数和优化器等组件，实现新型贝叶斯优化变体的快速原型设计。
• 支持实时和资源受限的应用，如在线机器人自适应和嵌入式系统，其中运行时效率至关重要。
• 提供现代化、符合标准的 C++ 实现，避免虚拟函数调用带来的性能损耗。
• 通过全面的文档、单元测试和公开的 GitHub 仓库，促进可复现研究和社区驱动的开发。

提出的方法

• 利用基于模板的策略设计，实现在编译时替换组件，且无需虚拟函数调用带来的运行时开销。
• 使用仿函数定义目标函数，并通过静态类型特性（dim_in, dim_out）指定输入和输出维度。
• 通过仿函数接口中可自定义的输出类型，支持多目标优化。
• 采用高斯过程，支持可配置的核函数（如 Matern-5/2、平方指数）和均值函数，以建模目标函数。
• 通过 NLOpt 封装集成多种内部优化器，用于求解采集函数和超参数优化问题。
• 支持并行重启和链式优化策略，在最小化计算成本的同时有效逃离局部最优。

实验结果

研究问题

• RQ1 是否可以设计一个 C++11 库，使其在贝叶斯优化中同时实现高性能与极高可配置性？
• RQ2 与现有面向对象的库相比，基于策略和模板驱动的实现方式在速度和精度方面表现如何？
• RQ3 此类库在具有严格运行时约束的实时、嵌入式或交互式应用中，其适用程度如何？
• RQ4 该库是否能高效支持对新型组件（如新采集函数或核函数）的快速实验？
• RQ5 Limbo 在标准基准函数上的性能与最先进的库（如 BayesOpt）相比如何？

主要发现

• 当超参数未优化时，Limbo 在相同精度水平（误差 < 2.10⁻³）下，收敛速度比 BayesOpt 快 1.47–1.76 倍。
• 当超参数被优化后，Limbo 在相同基准函数上比 BayesOpt 快 2.05–2.54 倍。
• 性能提升主要归因于高效的基于模板的设计，消除了虚拟函数调用带来的运行时开销。
• Limbo 通过简单的模板实例化，可无缝集成新组件，如自定义核函数、采集函数和优化器。
• 该库已在真实机器人应用中成功部署，包括在机械损伤后对腿式机器人实现在线步态自适应，仅用 10–15 次试验（约 2 分钟）即完成。
• 该库采用与 GPL 兼容的 CeCiLL 许可证发布，配有完整文档、API 参考和 GitHub 上的持续集成支持。