[论文解读] BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization

Maximilian Balandat, Brian Karrer+5 more|arXiv (Cornell University)|Oct 14, 2019

Machine Learning and Data Classification被引用 203

一句话总结

BoTorch 引入了一个基于 PyTorch 的模块化 MC 贝叶斯优化框架，含有新颖的样本平均近似优化、自动微分、方差化简，以及一次性 KG 公式的“单次看前”优化，在样本效率和可扩展性方面优于现有库。

ABSTRACT

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BoTorch, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, auto-differentiation, and variance reduction techniques. BoTorch's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BoTorch relative to other popular libraries.

研究动机与目标

• 提供一个模块化、可微分的蒙特卡罗贝叶斯优化框架，利用现代硬件和基于 PyTorch 的模型。
• 引入并分析样本平均近似（SAA）以优化 MC 采集函数，并给出收敛性保证。
• 提出一次性 Knowledge Gradient（OKG）前瞻性采集并展示其实际优势。
• 通过大量实验展示相较于现有 BO 库在性能和可扩展性方面的提升。

提出的方法

• 将 MC 采集函数形式化为对后验样本的期望，并用固定集合的基样本进行近似（SAA）。
• 使用重参数化获得可微分的采样路径和采集函数梯度。
• 为 SAA 优化开发收敛性保证，包括 RQMC 的扩展。
• 引入 OKG，一种确定性的、一次性前瞻性 KG 公式，通过使用幻想模型以及对候选点和幻想点的联合优化来避免嵌套优化。
• 提供模块化的 BoTorch 抽象，使其对模型无关并可与 GPyTorch 集成，以实现快速预测分布和硬件加速。
• 通过具体实现展示多目标和并行/带噪声的采集函数（如 qParEGO、qNEI、qKnowledgeGradient）。

实验结果

研究问题

• RQ1 MC 采集函数是否可以在具有收敛保证的固定基样本集合（SAA）下被有效优化？
• RQ2 OKG（一种一次性前瞻）是否在看前 BO 的性能和可扩展性上优于传统 KG 方法？
• RQ3 BoTorch 相对于其他 BO 库在样本效率和计算效率上在合成任务和真实世界任务中表现如何？
• RQ4 BoTorch 能否在一个可微分、GPU 加速的框架中集成并行、异步、多目标和带噪声的采集函数？

主要发现

• 基于 SAA 的 MC 采集函数优化在温和条件下以 a.s. 收敛和指数收敛速率收敛到真实最优解。
• 基于 RQMC 的方法在实际中进一步提升了经验收敛速率，相较 MC 更优。
• OKG 提供了一个可扩展的一次性前瞻性 KG 公式，具备收敛性保证和具有竞争力的渐近最优性。
• BoTorch 在 GPU 与 CPU 上显示出显著的加速和可扩展性，来自快速预测分布的 10–40X 加速以及与批量大小近线性扩展。
• OKG 在合成测试中通常优于其他采集函数，在 MOE KG 的墙钟时间上相比多项 KG 下降至最多 6X，同时提供更好的优化性能。
• 在 Hartmann、Cartpole DQN 调优以及其他超参数优化任务中的实证结果显示出改进的样本效率和实际性能。